OmniParser가 스크린샷을 구조화된 실행 가능한 요소로 파싱하여 모든 LLM을 GUI 에이전트로 변환합니다.
요약
OmniParser는 스크린샷 이미지를 구조화되고 실행 가능한 요소로 파싱하여 모든 LLM을 GUI 에이전트로 변환하는 도구입니다. V2 버전은 Screen Spot Pro grounding 벤치마크에서 높은 성능을 보였으며, OpenAI, Anthropic 등 주요 모델들을 지원합니다.
핵심 포인트
- 스크린샷 파싱으로 모든 LLM을 GUI 에이전트로 변환 가능
- V2 버전은 Screen Spot Pro grounding 벤치마크에서 높은 성능 달성
- OpenAI, Anthropic 등 주요 모델들을 기본적으로 지원함
- Windows 11 VM 제어 및 로컬 트랙젝토리 로깅 기능 제공
OmniParser는 스크린샷을 구조화되고 실행 가능한 요소로 파싱함으로써 모든 LLM을 GUI 에이전트(GUI agent)로 만듭니다.
- V2를 사용하여 Screen Spot Pro grounding 벤치마크에서 39.5% 달성
- OpenAI, DeepSeek, Qwen, Anthropic 모델을 기본적으로 지원합니다
- Windows 11 VM 제어를 위한 OmniTool 포함
- 학습 데이터 파이프라인 구축을 위해 로컬 트랙젝토리(trajectory) 로깅 제공
여기에서 확인해 보세요:
AI 자동 생성 콘텐츠
본 콘텐츠는 X @githubprojects (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0