AMVL은 멀티모달 LLM에서 안정적인 연속적 추론을 가능하게 합니다

요약

AMVL은 멀티모달 LLM에서 안정적인 연속적 추론을 가능하게 하는 새로운 방법론입니다. 비대칭 이중 KL 손실을 통해 잠재적 추론을 정렬함으로써 정답 유출을 방지하고 성능을 크게 향상시킵니다.

핵심 포인트

• 비대칭 이중 KL 손실을 통한 잠재적 추론 정렬
• 텍스트 토큰 압축 대신 잠재적 추론 방식 사용
• 정답 유출(answer leakage) 문제 방지
• BLINK 점수 최대 +32점 향상