보이지 않는 것을 교정하기: 멀티모달 추론기(Multimodal Reasoners)의 인지 증류(Perception Distillation)를
요약
멀티모달 추론기의 인지 실패와 추론 오류를 구분하기 어려운 문제를 해결하기 위해 Perception-Correction Distillation(PCD) 기법을 제안합니다. PCD는 하류 실패와 교사-학생 불일치를 결합하여 인지적 오류가 발생한 시점을 정밀하게 식별하고 증류를 강화합니다.
핵심 포인트
- 인지 실패와 추론 오류를 구분하는 PCD 방법론 제안
- 베이지안 증거 결합을 통한 소프트 AND 게이트 메커니즘 활용
- 추론 목적 함수를 변경하지 않으면서 인지 교정 성능 향상
- 8개 벤치마크 테스트에서 기존 OPD 대비 유의미한 성능 향상 입증
On-policy 증류(distillation)는 멀티모달 추론기(multimodal reasoners)에 조밀한 감독(dense supervision)을 제공하지만, 궤적 수준(trajectory-level)의 보상은 실패한 답변이 인지(perception)에서 비롯된 것인지 아니면 후속 추론(reasoning)에서 비롯된 것인지 결정할 수 없습니다. 하나의 인지를 공유하는 여러 추론으로부터 추정되는 인지 성공률(Perception Success Rate, PSR)은 낮은 성공률이 인지적 불충분함과 추론의 어려움을 혼재시키기 때문에 여전히 모호합니다. 우리는 하류 실패(downstream failure)와 교사-학생 불일치(teacher--student disagreement)를 상호 보완적인 증거로 사용하여 교정 가능한 인지 실패를 식별하는 라벨이 없는(label-free) 방법인 extbf{Perception-Correction Distillation (PCD)}를 소개합니다. 이들의 곱은 두 증거가 모두 존재할 때만 증류를 강화하는 소프트 AND 게이트(soft AND gate)를 형성합니다. 우리는 베이지안 증거 결합(Bayesian evidence combination)을 통해 이 규칙의 동기를 부여하며, 곱셈이 어느 한 증거가 부재할 때 사라지는 유일한 정규화된 쌍선형 게이트(normalized bilinear gate)임을 보여줍니다. PCD는 분리된 인지-추론 롤아웃(perception--reasoning rollouts)과 평균 보존 가중치(mean-preserving weights)를 사용하여 추론 목적 함수(reasoning objective)를 변경하지 않습니다. 8개의 벤치마크 전반에 걸쳐, PCD는 8B 2B 매크로 평균을 OPD의 44.50에서 47.28로, 32B 8B 결과를 56.94에서 61.22로 향상시킵니다. 일치하는 2B 절제 연구(ablations)에서 PCD와 분리된 롤아웃을 제거하면 홀드아웃(held-out) 평균이 각각 2.22포인트와 0.88포인트 감소합니다. 따라서 효과적인 멀티모달 증류는 교사가 무엇을 예측하는가뿐만 아니라, 인지가 적절한 교정 대상인 시점을 식별하는 것에도 달려 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기