OpenComputer: 컴퓨터 사용 에이전트를 위한 검증 가능한 소프트웨어 환경

요약

OpenComputer는 컴퓨터 사용 에이전트의 성능을 정확하게 측정하기 위해 검증기 기반(verifier-grounded)의 소프트웨어 환경을 제안합니다. 이 프레임워크는 앱 특화 검증기, 자기 진화형 검증 레이어, 작업 생성 파이프라인, 평가 하네스라는 네 가지 핵심 구성 요소를 통해 에이전트의 실행 결과를 정밀하게 검증합니다. 실험 결과, 하드코딩된 검증기가 기존의 LLM-as-judge 방식보다 인간의 판단과 더 높은 일치도를 보임을 확인했습니다.

핵심 포인트

• 검증기 기반 프레임워크를 통해 컴퓨터 사용 에이전트의 실행 상태를 정밀하게 검증 가능
• 브라우저, 오피스, 개발 환경 등 33개의 애플리케이션과 1,000개의 작업을 포함하는 환경 구축
• 하드코딩된 검증기가 LLM 기반 평가보다 인간의 판정과 더 유사한 신뢰도를 보임
• 최첨단 에이전트와 오픈 소스 모델 간의 컴퓨터 자동화 완수 능력 격차 확인