OmniParser가 스크린샷을 구조화된 실행 가능한 요소로 파싱하여 모든 LLM을 GUI 에이전트로 변환합니다.

요약

OmniParser는 스크린샷 이미지를 구조화되고 실행 가능한 요소로 파싱하여 모든 LLM을 GUI 에이전트로 변환하는 도구입니다. V2 버전은 Screen Spot Pro grounding 벤치마크에서 높은 성능을 보였으며, OpenAI, Anthropic 등 주요 모델들을 지원합니다.

핵심 포인트

• 스크린샷 파싱으로 모든 LLM을 GUI 에이전트로 변환 가능
• V2 버전은 Screen Spot Pro grounding 벤치마크에서 높은 성능 달성
• OpenAI, Anthropic 등 주요 모델들을 기본적으로 지원함
• Windows 11 VM 제어 및 로컬 트랙젝토리 로깅 기능 제공