통합 멀티모달 모델을 위한 연속 공간에서의 잠재적 추론

요약

기존 통합 멀티모달 모델(UMMs)은 이산 토큰 공간과 연속 이미지 공간 간의 모달리티 불일치로 인해 언어 기반 추론 활용에 어려움을 겪습니다. 본 연구는 이를 해결하기 위해 연속 공간에서의 잠재적 추론 프레임워크(LARC)를 제안합니다. LARC는 SFT와 RL을 통해 학습되며, 다양한 벤치마크에서 생성 품질과 구성적 충실도를 크게 향상시켰습니다.

핵심 포인트

• UMMs의 한계는 이산 토큰 공간과 연속 이미지 공간 간의 모달리티 불일치에 기인함.
• LARC는 연속 은닉 상태에서 잠재적 추론을 수행하여 기존 병목 현상을 완화함.
• 훈련은 커리큘럼 SFT와 정보 이득 RL로 구성된 2단계 과정을 거침.
• GenEval 등 다양한 벤치마크에서 BAGEL 대비 7%p 성능 향상 등 최첨단 결과를 입증함.