상호작용 기반 평가(Interaction-as-a-Judge): 애플리케이션의 평가 및 생성 개선 방안

요약

본 연구는 정교한 상호작용형 애플리케이션 평가를 위해 'Interaction-as-a-Judge'라는 새로운 패러다임을 제안합니다. 이는 컴퓨터 사용 에이전트(CUAs)가 직접 앱과 상호작용하며 평가하는 방식입니다. 이 방법은 기존의 코드 분석 기반 LLM 평가보다 인간 사용자 경험을 더 정확하게 포착하여, 애플리케이션의 평가 및 생성 품질 모두를 크게 향상시킬 수 있음을 입증했습니다.

핵심 포인트

• Interaction-as-a-Judge는 상호작용형 앱 평가에 적합한 새로운 패러다임입니다.
• 인간 선호도 예측 및 요구사항 검증 성능을 기존 방식 대비 개선했습니다.
• 생성된 아티팩트의 품질 향상 효과를 입증하며, 복구율과 빌드 실패율 감소가 확인되었습니다.