시각-언어 모델(Vision-Language Models)의 양식 순서 일관성을 위한 테스트 시간 훈련 (Test-Time Training)

요약

시각-언어 모델(VLM)이 이미지와 질문의 제시 순서에 따라 성능 차이를 보이는 '양식 순서 실패' 문제를 분석하고, 이를 해결하기 위한 테스트 시간 훈련(TTT) 방법을 제안합니다. 이 방법은 모델의 중간 레이어에서 발생하는 표현의 불일치를 복구하여 순서 간 성능 격차를 줄이고 전체적인 성능을 향상시킵니다.

핵심 포인트

• VLM은 이미지와 질문의 입력 순서에 따라 성능이 달라지는 민감성을 보임
• 테스트 시간 훈련(TTT)을 통해 양식 순서 간의 성능 격차를 실질적으로 완화
• 활성화 패칭을 통해 순서 실패가 네트워크 중간 영역의 표현 불일치임을 확인
• 단순한 테스트 시간 적응만으로 베이스라인 대비 성능 향상 가능