픽셀을 넘어선 패턴: 멀티모달 코드 생성에서의 패턴 완성 편향(Pattern Completion Bias) 측정

요약

멀티모달 거대 언어 모델(MLLM)이 웹 스크린샷을 코드로 변환할 때, 시각적 정보보다 반복되는 UI 패턴에 의존하여 오류를 범하는 '패턴 완성 편향'을 분석한 연구입니다. 새로운 벤치마크를 통해 모델들이 시각적 변형을 무시하고 기존 패턴을 따르려는 경향이 매우 높음을 입증했습니다.

핵심 포인트

• MLLM의 멀티모달 코드 생성 시 발생하는 패턴 완성 편향 측정
• 시각적 변형에도 불구하고 기존 UI 패턴을 복구하려는 경향 확인
• 카드 너비 및 글꼴 크기 변형 시 매우 높은 편향률 기록
• 모델의 추론 노력이 높을수록 편향이 낮아지는 상관관계 발견
• 시각적 돌출성이 편향의 심각성과 밀접하게 연관됨