VISTA: 상호작용 환경에서의 추론을 위한 시각적 하네스

요약

본 논문은 멀티모달 모델의 추론 능력을 향상시키기 위한 시각적 하네스 VISTA를 제안합니다. VISTA는 모델이 환경을 직접 인지하고, 과거 관찰 내용을 손실 없이 보존하는 시각 메모리를 유지하게 합니다. 이를 통해 Claude Opus 5.0은 복잡한 게임 환경에서 인간보다 훨씬 적은 행동으로 높은 효율성을 달성했습니다.

핵심 포인트

• VISTA는 멀티모달 모델의 추론 능력을 향상시키는 시각적 하네스입니다.
• 손실 없는(lossless) 시각 메모리를 통해 과거 관찰 내용을 보존합니다.
• Claude Opus 5.0을 사용하여 게임 환경에서 높은 행동 효율성을 입증했습니다.
• 최소한의 적응으로 다양한 시각적 환경에 확장 가능성이 높습니다.