WebUIProof: UI-Agent 실행 하네스를 이용한 WebUI 코드 생성기 벤치마킹

요약

본 글은 WebUI 코드 생성의 한계를 극복하기 위해 실행 중심의 새로운 벤치마크인 WebUIProof를 소개합니다. 이 시스템은 일반적인 WebUI와 복잡한 3D 시뮬레이션까지 포괄하며, 'plan--act--observe' 루프를 통해 헤드리스 브라우저에서 실제 상호작용 테스트를 수행합니다. 평가 결과, LLM들이 기능적 요구사항 충족에 어려움을 보였으며, 이 실행 데이터를 활용해 소형 모델을 훈련시키는 방법도 제시했습니다.

핵심 포인트

• WebUIProof는 정적 검사를 넘어선 실행 중심의 WebUI 벤치마크를 제공합니다.
• LLM 기반 코드 생성은 특히 상호작용이 필요한 복잡한 UI에서 실패율이 높습니다.
• 실행 테스트 과정에서 얻은 데이터를 RL 보상으로 활용하여 모델 성능을 개선할 수 있습니다.