컴퓨터 과학 > 컴퓨터 비전 및 패턴 인식

제목: GLM-5V-Turbo: 다중 모달 에이전트를 위한 네이티브 파운데이션 모델로 가는 길

Abstract: 우리는 다중 모달 에이전트를 위한 네이티브 파운데이션 모델의 한 단계인 GLM-5V-Turbo 를 소개합니다. 파운데이션 모델이 점차 실제 환경에 배포되고 있으므로, 에이전트 능력은 언어 추론뿐만 아니라 이미지, 동영상, 웹페이지, 문서, GUI 와 같은 이질적 컨텍스트를 인식하고 해석하며 행동할 수 있는 능력에도 의존합니다. GLM-5V-Turbo 는 다중 모달 인식을 언어 모델의 보조 인터페이스가 아닌 추론, 계획, 도구 사용 및 실행의 핵심 구성 요소로 통합하는 이러한 목표를 중심으로 구축되었습니다. 이 보고서는 GLM-5V-Turbo 의 주요 개선점을 모델 설계, 다중 모달 학습, 강화학습 (RL), 도구 체인 확장 및 에이전트 프레임워크와의 통합에 걸쳐 요약합니다. 이러한 발전은 다중 모달 코딩, 시각적 도구 사용 및 프레임워크 기반 에이전트 작업에서 강력한 성능을 발휘하면서도 경쟁력 있는 텍스트 전용 코딩 능력을 유지합니다. 더 중요한 것은 우리의 개발 과정이 다중 모달 에이전트 구축에 대한 실용적인 통찰력을 제공하며, 다중 모달 인식의 중심 역할, 계층적 최적화 및 신뢰할 수 있는 엔드 투 엔드 검증의 중요성을 강조합니다.

문헌 및 인용 도구

이 기문과 관련된 코드, 데이터 및 미디어

데모

추천자 및 검색 도구

arXivLabs: 커뮤니티 협력자를 위한 실험 프로젝트

arXivLabs 는 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있는 프레임워크입니다.

개인과 조직이 arXivLabs 와 함께 작업하며 개방성, 커뮤니티, 우수성 및 사용자 데이터 프라이버시 등 우리의 가치를 수용하고 준수했습니다. arXiv 는 이러한 가치에 헌신하며 해당 가치를 준수하는 파트너만 협력합니다.

arXiv 의 커뮤니티에 추가적인 가치를 제공하는 프로젝트 아이디어가 있으시면 arXivLabs 에 대해 자세히 알아보기.