검증기가 나빠질 때: 자기 개선형 VLM이 새로운 작업에서 퇴보할 수 있는 이유

검증기 기반의 self-DPO (Direct Preference Optimization)는 자기 개선형(self-improving) 상용 시각-언어 모델 (Visual-Language Models, VLMs)을 위한 일반적인 레시피입니다. 이 설정에서는 동결된(frozen) 검증기가 후보 생성물에 점수를 매기고, 점수가 가장 높은 후보와 가장 낮은 후보가 선호도 예시(preference example)를 형성하며, DPO가 학습자(learner)를 업데이트합니다. 배포 시의 가정은 단조적(monotone)입니다. 즉, 더 강력한 검증기가 더 강력한 학생 모델을 만들어내야 한다는 것입니다. 우리는 검증기의 품질이 작업별로 매우 특이적(task-specific)이기 때문에 이 가정이 실패할 수 있음을 보여줍니다. MathVista, MMMU, BLINK에 걸친 4단계 오픈 소스 검증기 사다리(verifier ladder)에서, MathVista에서는 임계값(threshold)을 상회하여 Qwen-3-VL-2B 학생 모델을 개선했던 동일한 검증기들이 MMMU에서는 임계값 미만으로 떨어지며, 여기서 검증기의 작업 루브릭(task-rubric) 정확도는 8%에서 23%로 급락합니다. 이러한 영역(regime)에서 우리가 테스트한 모든 검증기는 DPO 학습 손실(training loss)이 계속 감소함에도 불구하고, 동결된 베이스라인(frozen baseline)보다 3.4~10.9 퍼센트 포인트 낮은 성능을 기록하며 학생 모델을 조용히 퇴보시킵니다. 이러한 퇴보는 두 번째 학생 모델인 Qwen-2.5-VL-3B에서도 재현됩니다. 더욱이, 실패 영역 내에서 손상은 신뢰도 역전(confidence-inverted) 현상을 보입니다. 즉, 정확하지만 여전히 틀린 검증기가 거의 무작위(near-random)인 검증기보다 더 큰 퇴보를 유발하며, 이는 진보 게이트형 리플레이(progress-gated replay)가 확신에 찬 오답 선호 쌍(confidently wrong preference pairs)을 증폭시킨다는 것을 시사합니다. 우리는 진보 게이트형 리플레이와 그 방향 불일치(direction-mismatch) 실패 모드에 대한 분산 정리(variance theorem)를 통해 간결한 기계론적 설명(mechanistic explanation)을 제공합니다. 배포에 대한 메시지는 단순히 진단적인 수준을 넘어 운영적입니다. 즉, 검증기 기반 루프를 실행하기 전에 팀은 대상 작업의 루브릭 정확도를 측정해야 하며, 검증기의 순위를 매길 때 파라미터 수(parameter count)가 아닌 대상 작업의 루브릭 품질을 기준으로 해야 하고, 임계값 상회 영역에서의 수익 체감(diminishing returns)을 검증 측의 연산 예산 상한(compute budget cap)으로 취급해야 합니다.