다국어 시각적 객관식 문항에 대한 소형 VLM의 테스트 시간 스케일링
요약
본 연구는 다국어 시각적 객관식 문항(Visual MCQ) 환경에서 소형 VLM의 추론 능력을 향상시키는 테스트 시간 스케일링(TTS) 효과를 분석했습니다. Qwen2.5-VL-7B-Instruct와 Qwen3.5-4B 모델을 사용하여 self-consistency, PRM-guided beam search 등 여러 기법을 비교한 결과, 가장 큰 성능 향상은 복잡한 검색/검증 메커니즘이 아닌 '정책 모델 자체'의 개선에서 나왔음을 밝혀냈습니다.
핵심 포인트
- TTS 효과는 조건에 따라 다르며, 파싱 가능성(parseability)이 핵심 요인이다.
- 디코딩 예산 증가(토큰 제한 상향)가 다수 체인 샘플링보다 더 큰 성능 향상을 가져왔다.
- PRM-guided beam search나 생성적 비평가는 단순 self-consistency 대비 추가적인 이득이 적었다.
- 최적의 구성은 정책 모델 자체를 개선하는 것이었으며, ImageCLEF 2026 테스트 분할에서 84.1%로 최고 성능을 기록했다.
테스트 시간 스케일링(Test-time scaling, TTS)은 대규모 언어 모델(LLM)에서 추론 능력을 신뢰성 있게 향상시키지만, 이것이 작은 오픈 비전-언어 모델(VLM)에 전이되는지는 불분명합니다. 우리는 다국어 시각적 객관식 문항 벤치마크인 EXAMS-V를 사용하여 self-consistency, PRM-guided beam search를 사용한 describe-then-reason, 그리고 두 가지 사후 선택기(post-hoc selectors)를 Qwen2.5-VL-7B-Instruct와 Qwen3.5-4B에 걸쳐 비교합니다. 중요한 것은 TTS가 실행되는 조건이며, 검색이나 검증 메커니즘 자체가 아닙니다. 가장 큰 요인은 파싱 가능성(parseability)입니다: 초기 프롬프트 형식은 많은 체인이 올바르게 추론하지만 답안 문자에 결코 도달하지 못하게 했고, 이는 표준 답안 단서와 가이드된 복구 단계가 크게 제거합니다. 더 큰 디코딩 예산이 나머지를 제거합니다: 체인당 토큰 제한을 1k에서 2k로 높이는 것이 3.7 pp를 회복하는 반면, 더 많은 체인을 샘플링(8개에서 16개)하는 것은 단지 0.15 pp만 추가합니다. 일단 체인이 끝낼 공간이 생기면, 정교한 방법들은 거의 기여하지 못합니다: PRM-guided beam search는 비용이 8배 이상 드는 반면 단순 self-consistency보다 0.39 pp 낮고, 학습되지 않은 생성적 비평가(generative critic)도, 학습된 멀티모달 PRM도 두 정책 모두에서 다수결 투표를 이기지 못합니다. 가장 큰 이득은 대신 정책 모델 자체(+11.4 pp)에서 나옵니다. 우리의 최적 구성은 보류된 ImageCLEF 2026 테스트 분할에서 84.1%에 도달하여 Visual MCQ 리더보드에서 1위를 차지했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기