OmniParser

📢 [Project Page] [V2 Blog Post] [Models V2] [Models V1.5] [HuggingFace Space Demo]

OmniParser는 사용자 인터페이스 스크린샷을 구조화되고 이해하기 쉬운 요소로 파싱하는 포괄적인 방법론이며, 이를 통해 GPT-4V가 해당 인터페이스의 특정 영역에 정확하게 근거하여 액션을 생성할 수 있는 능력을 크게 향상시킵니다.

• [2026/7] YOLOv9-E 대화형(interactive) 영역 감지기를 추가했습니다. 추론 전용 가중치(inference-only weight)는 Hugging Face PR #37에서 사용할 수 있습니다.
• [2025/3] OmniParser+OmniTool을 사용하여 사용자가 선호하는 도메인 에이전트를 위한 학습 데이터 파이프라인을 구축할 수 있도록 트라젝토리(trajecotry)의 로컬 로깅을 지원합니다. [Documentation WIP]
• [2025/3] 더 나은 경험을 위해 멀티 에이전트 오케스트레이션(multi agents orchestration) 기능을 점진적으로 추가하고 OmniTool의 사용자 인터페이스를 개선하고 있습니다.
• [2025/2] OmniParser V2 체크포인트를 출시했습니다. 비디오 시청
• [2025/2] OmniTool을 소개합니다: OmniParser + 사용자가 선택한 비전 모델로 Windows 11 VM을 제어할 수 있습니다. OmniTool은 다음 대규모 언어 모델(large language models)들을 즉시 지원합니다 - OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) 또는 Anthropic Computer Use. 비디오 시청
• [2025/1] V2가 곧 출시됩니다. OmniParser v2를 사용하여 새로운 근거(grounding) 벤치마크인 Screen Spot Pro에서 39.5%의 새로운 최첨단 결과에 도달했습니다! 더 자세한 내용은 여기서 읽어보세요.
• [2024/11] 업데이트된 버전인 OmniParser V1.5를 출시했으며, 여기에는 1) 더 세밀하고 작은 아이콘 감지 기능, 2) 각 화면 요소가 상호작용 가능한지 여부를 예측하는 기능이 포함되어 있습니다. 예시는 demo.ipynb에서 확인할 수 있습니다.
• [2024/10] OmniParser는 huggingface model hub에서 #1 트렌딩 모델이었습니다 (2024년 10월 29일 시작).
• [2024/10] huggingface space에서 데모를 자유롭게 확인해 보세요! (OmniParser + Claude Computer Use에 주목해 주세요)
• [2024/10] 대화형 영역 감지 모델과 아이콘 기능 설명 모델을 모두 출시했습니다! Hugginface 모델
• [2024/09] OmniParser는 Windows Agent Arena에서 최고의 성능을 달성했습니다!

먼저 레포지토리를 클론하고 환경을 설치하세요:

cd OmniParser
conda create -n "omni" python==3.12
conda activate omni
...

Hugging Face PR #37이 병합될 때까지, PR에서 최신 YOLOv9-E 디텍터를 다운로드하세요:

huggingface-cli download microsoft/OmniParser-v2.0 icon_detect_v3/model.pt \
--revision refs/pr/37 --local-dir weights

OmniParser는 이 로컬 가중치(weight)를 선호합니다. PR이 병합된 후에는 첫 사용 시 자동으로 동일한 가중치를 다운로드할 것입니다. 캡션 가중치는 weights 폴더에 다운로드하세요:

for f in icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done
mv weights/icon_caption weights/icon_caption_florence

데모에서는 몇 가지 간단한 예제를 demo.ipynb에 모아두었습니다.

gradio 데모를 실행하려면, 단순히 다음을 실행하세요:

python gradio_demo.py

icon_detect_v3는 MIT 라이선스가 적용된 YOLOv9 구현을 기반으로 합니다. 이전의 Ultralytics 기반 아이콘 디텍터들은 원래 AGPL 라이선스를 유지합니다. 캡션 모델은 MIT 라이선스 하에 있습니다.

기술 보고서는 여기에서 찾을 수 있습니다. 저희 작업이 유용하다고 생각되시면, 다음 인용을 고려해 주십시오:

@misc{lu2024omniparserpurevisionbased,
title={OmniParser for Pure Vision Based GUI Agent},
author={Yadong Lu and Jianwei Yang and Yelong Shen and Ahmed Awadallah},
...}