WebRISE: MLLM 생성 웹 아티팩트를 위한 요구사항 유도 상태 평가

요약

MLLM이 생성한 웹 아티팩트의 상호작용 능력을 평가하기 위한 새로운 벤치마크인 WebRISE를 제안합니다. 요구사항 유도 상태와 전이를 기반으로 한 상호작용 계약 그래프(ICG)를 통해 기존 방식보다 정밀한 평가가 가능함을 입증했습니다.

핵심 포인트

• 상호작용 계약 그래프(ICG)를 통한 정밀한 웹 아티팩트 평가 방식 제안
• 14개 MLLM 테스트 결과, 모델들의 전이 유효성 및 요구사항 커버리지 한계 확인
• 시각적 품질이 웹 동작의 유효성을 보장하는 지표가 아님을 증명
• 비디오 모달리티가 텍스트 대비 높은 암시적 요구사항 커버리지를 제공함
• ICG 기반 스코어링이 기존 체크포인트 방식보다 오류 탐지율이 월등히 높음