다국어 시각적 객관식 문항에 대한 소형 VLM의 테스트 시간 스케일링

요약

본 연구는 다국어 시각적 객관식 문항(Visual MCQ) 환경에서 소형 VLM의 추론 능력을 향상시키는 테스트 시간 스케일링(TTS) 효과를 분석했습니다. Qwen2.5-VL-7B-Instruct와 Qwen3.5-4B 모델을 사용하여 self-consistency, PRM-guided beam search 등 여러 기법을 비교한 결과, 가장 큰 성능 향상은 복잡한 검색/검증 메커니즘이 아닌 '정책 모델 자체'의 개선에서 나왔음을 밝혀냈습니다.

핵심 포인트

• TTS 효과는 조건에 따라 다르며, 파싱 가능성(parseability)이 핵심 요인이다.
• 디코딩 예산 증가(토큰 제한 상향)가 다수 체인 샘플링보다 더 큰 성능 향상을 가져왔다.
• PRM-guided beam search나 생성적 비평가는 단순 self-consistency 대비 추가적인 이득이 적었다.
• 최적의 구성은 정책 모델 자체를 개선하는 것이었으며, ImageCLEF 2026 테스트 분할에서 84.1%로 최고 성능을 기록했다.