HTMLCure: 브라우저 경험을 상호작용형 HTML을 위한 상태 유도형 수리(State Guided Repair)로 전환하기

요약

HTMLCure는 상호작용형 HTML 페이지의 오류를 진단하고 수리하는 새로운 브라우저 경험 프레임워크입니다. VLM과 실행 궤적을 활용해 상태 기반 수리를 수행하며, 고품질 SFT 데이터셋 구축을 통해 강력한 성능의 모델을 생성합니다.

핵심 포인트

• 상호작용 상태(클릭, 호버 등)를 기반으로 HTML 오류를 진단 및 수리
• VLM에 스크린샷 대신 실행 궤적 기반 키프레임을 제공하여 평가 정확도 향상
• 40K 규모의 고품질 SFT 데이터셋 구축을 통한 모델 성능 최적화
• HTMLCure-27B-Refined 모델이 주요 벤치마크에서 강력한 참조 모델과 대등한 성능 달성