Fara1.5-27B는 Microsoft Research AI Frontiers에서 개발한 웹 브라우저용 멀티모달 컴퓨터 사용 에이전트 (CUA, Computer Use Agent)입니다. 이 모델은 스크린샷을 통해 브라우저를 관찰하며, 클릭, 타이핑, 스크롤, URL 방문, 웹 검색 등과 같은 구조화된 도구 호출 (tool calls)을 생성하여 사용자를 대신해 작업을 엔드투엔드 (end-to-end)로 완료합니다. 이 모델은 인지 단계에서 비전 전용 (vision-only)입니다. 즉, DOM이나 접근성 트리 (accessibility tree)가 아닌 스크린샷을 통해 브라우저를 확인합니다. 내부 추론 및 궤적 이력 (trajectory history)은 텍스트로 추적됩니다. 최신 스크린샷과 이전 작업들을 바탕으로, 모델은 근거가 있는 인자 (grounded arguments, 예: 클릭을 위한 픽셀 좌표)와 함께 다음 동작을 예측합니다. Fara1.5-27B는 웹 작업을 합성하고, 이를 해결하기 위한 궤적을 실행하며, 학습 전 결과를 검증하는 멀티 에이전트 파이프라인인 FaraGen1.5가 생성한 데이터로 Qwen3.5-27B를 지도 미세 조정 (supervised fine-tuned)한 모델입니다. 이 모델은 MagenticLite와 공동 설계되었으며, 연구 및 프로덕션 모두에서 권장되는 배포 방식입니다. 주요 사용 사례: 양식 작성, 쇼핑, 여행 예약, 식당 예약, 정보 검색, 계정 워크플로우 등 반복적인 웹 작업 자동화. 또한 Fara1.5-27B는 픽셀 단위로 정확한 동작 예측이 필요한 다른 에이전트들을 위한 그라운딩 모델 (grounding model)로도 활용될 수 있습니다.

범위 외 사항 (Out of scope):

• 영어를 제외한 언어 (학습 데이터는 영어로만 구성됨)
• 부정확한 동작이 피해를 초래할 수 있는 고위험 도메인 (법률, 의료, 금융 자문)
• 법적 지위, 주거, 고용 또는 신용에 영향을 미치는 할당 결정 (Allocation decisions)
• 민감한 계정이나 파일에 접근할 수 있는 샌드박스 미적용 배포 (Unsandboxed deployments)
• 추가적인 테스트 및 안전장치 없는 상업적 또는 실제 운영 환경에서의 사용

알려진 한계점 (Known limitations):

• 시각 전용 인지 (Vision-only perception) 방식이므로, 기만적이거나 품질이 낮은 페이지 렌더링, 페이지 콘텐츠에 포함된 프롬프트 주입 (prompt injections), 또는 UI 요소의 시각적 모호함에 의해 모델이 오도될 수 있습니다.
• 다단계 궤적 (Multi-step trajectories)은 오류가 누적됩니다. 시퀀스 초기의 잘못된 클릭이 복합적인 오류로 이어질 수 있습니다.
• 다회차 작업 (multi-turn tasks)에서의 실행 간 변동성 (Run-to-run variance)은 무시할 수 없는 수준입니다. 벤치마크 수치는 여러 번의 실행에 대한 평균값입니다.
• 모델이 페이지 상태를 환각 (hallucinate)하거나 이전 스크린샷의 정보를 잘못 귀속시킬 수 있습니다.

추가 모델: (모델 카드에는 9B 모델이 언급되어 있으나, HF에서 9B 모델은 보이지 않습니다) https://huggingface.co/microsoft/Fara1.5-4B /u/pmttyji 제출 [링크] [댓글]