RefCraft: 웹 개발을 통한 시각 참조 기반 에이전트 생성 성능 평가

요약

본 논문은 AI 에이전트가 시각적 참조를 활용하여 웹페이지를 개발하는 능력을 평가하기 위한 새로운 벤치마크인 RefCraft를 제안합니다. 이 벤치마크는 자연어 지침과 여러 개의 스크린샷을 결합한 현실적인 멀티모달 과제로 구성되어 있습니다. 평가 결과, 최신 LLM들이 실제 웹 개발 환경에서 시각적 참조 기반의 에이전트 생성 능력을 구현하는 데 여전히 큰 어려움을 겪고 있음을 보여줍니다.

핵심 포인트

• RefCraft는 자연어 지침과 스크린샷을 결합한 현실적인 멀티모달 웹페이지 개발 과제입니다.
• 기존 벤치마크가 간과했던 '시각적 예시로부터의 일반적인 워크플로우'를 다룹니다.
• 최첨단 LLM들의 평균 성능은 100점 만점에 52.12점으로, 현 기술의 한계를 보여줍니다.