멀티모달 LLM을 활용한 모바일 사용자 경험(UX) 추론: 태스크, 벤치마크 및 접근 방식

사용성(usability), 인지된 일관성(perceived consistency), 기능적 명확성(functional clarity)에 중점을 둔 사용자 경험(UX)은 실제 사용자 인터페이스(UI)의 근간입니다. 시각적 요소 그라운딩(visual element grounding), 그래픽 사용자 인터페이스(GUI) 에이전트, 디자인-투-코드(design-to-code) 생성과 같이 사용자 인터페이스 분야에서 멀티모달 거대 언어 모델(MLLMs)의 적용이 빠르게 진화하고 있습니다. 그러나 UI 스크린샷을 기반으로 UX를 평가하는 연구 노력은 여전히 미성숙한 상태입니다. 이를 해결하기 위해, 우리는 MLLM의 UI 기반 추론 능력을 평가하기 위해 설계된 2,000개의 VQA 데이터 샘플로 구성된 새로운 멀티모달 벤치마크인 UXBench를 제안합니다. UXBench는 레이아웃 관계, 시각적 계층 구조(visual hierarchy), 콘텐츠 일관성에 걸쳐 UX 문제에 대한 세밀한 진단을 요구하는 실제 UI 스크린샷 기반의 8가지 태스크를 포함합니다. 주요 MLLM들에 대한 광범위한 평가 결과, 이들은 UI 기반 추론 능력에 있어 근본적으로 여전히 한계가 있음을 보여줍니다. 이러한 결과는 이 분야에서 추가적인 발전이 필요함을 강조합니다. 이 격차를 해소하기 위해, 우리는 Qwen3-VL-4B-Thinking 파운데이션 모델을 기반으로 하며 두 가지 핵심 혁신을 통해 강화학습 (RL)으로 강화된 MLLM인 UI-UX를 제안합니다. 두 가지 혁신은 추론 과정에서 지각적 이해(perceptual understanding)와 논리적 추론(logical reasoning) 사이의 균형을 동적으로 맞추는 보상 라우팅(reward routing) 메커니즘과, 불필요하거나 불충분한 추론 단계를 억제하는 비대칭 전이 보상(asymmetric transition reward)입니다. 실험을 통해 UI-UX는 UXBench에서 0.7963의 정확도를 달성하며 최첨단(SOTA) 성능을 기록하였고(Claude-4.5-Sonnet의 0.6550을 상회), 다양한 UI 태스크에 걸쳐 강력한 일반화 능력을 보여주는 동시에 낮은 추론 지연 시간(inference latency)을 유지함을 입증했습니다.