OpenVLHarness: 멀티모달 메모리를 활용한 실제 세계 시각 에이전트 도구 사용

요약

OpenVLHarness는 멀티모달 대규모 언어 모델(MLLMs)이 단순 추론을 넘어 외부 도구 사용과 지속적인 메모리 관리를 통해 실제 세계의 복잡한 시각적 작업을 수행하도록 돕는 하네스입니다. 이 시스템은 기능 계층과 영속적인 멀티모달 메모리를 결합하여, 다양한 백엔드에서 얻은 증거를 모델이 해석 가능한 형태로 유지하고 활용합니다.

핵심 포인트

• 외부 도구 사용을 통해 MLLMs의 시각적 추론 능력을 크게 향상시킵니다.
• 영속적인 멀티모달 메모리가 이미지, 구조화된 데이터 등 아티팩트를 저장하고 관리합니다.
• 기능 계층은 이질적인 백엔드 출력을 모델이 읽을 수 있는 관찰(observations)로 변환합니다.
• OpenVLHarness는 기본 모델 대비 평균 9.7~12.6점의 성능 향상을 입증했습니다.