Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
멀티모달 온폴리시 증류(OPD) 과정에서 시각적 신호와 언어적 사전 지식이 혼재되는 문제를 해결하기 위한 VAD 알고리즘을 제안합니다. 반사실적 타겟 재구성을 통해 시각적 증거에 기반한 수정 사항만을 추출하여 학생 모델의 학습 효율을 높입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기멀티모달 온폴리시 증류 (Multimodal on-policy distillation, OPD)는 특권적 시야 (privileged-view)를 가진 교사 모델 (teacher)을 사용하여 학생 모델 (student)이 생성한 궤적 (trajectories)을 감독함으로써 미세한 시각적 지식을 전달합니다. 그러나 이 과정에서의 다음 토큰 수정 (next-token corrections)은 시각적 신호가 언어적 사전 지식 (linguistic priors) 및 교사 특유의 효과와 결합되어 출처가 혼재 (source-mixed)되어 있습니다. 핵심 과제는 단순히 어디에서 또는 얼마나 강력하게 증류할 것인가가 아니라, 어떤 수정이 시각적 증거 (visual evidence)에 의해 뒷받침되는지를 추정하는 것입니다. 우리는 교사의 수정 사항 중 시각적으로 귀속 가능한 부분을 추정하는 반사실적 타겟 재구성 (counterfactual target-reconstruction) 알고리즘인 시각적 귀속 증류 (Visual Attribution Distillation, VAD)를 소개합니다. 학생이 생성한 각 접두사 (prefix)에서, VAD는 관련 증거가 존재하는 경우와 제거된 경우에 대해 동일한 고정된 교사를 평가합니다. 중심 로그 확률 (centered log-probabilities)의 상응하는 변화는 $u_t$를 정의하며, 이는 증거가 후보 토큰을 얼마나 드러내거나 부정하는지를 추정하는 시각적 증거 방향에 대한 부호가 있는 프록시 (signed proxy) 역할을 합니다. VAD는 원래의 수정을 이 프록시에 투영하여 개입 정렬 성분 (intervention-aligned component)과 프록시로 설명되지 않는 잔차 (proxy-unexplained residual)를 얻은 다음, 전자를 통해 학생에게 고정된 타겟 (student-anchored target)을 재구성합니다. 학습 과정에서 이 재구성된 타겟은 주요 감독 신호를 제공하며, 특권적 교사는 약한 정규화 항 (weak regularizer)으로 기여합니다. 4B 및 9B 규모의 6개 미세 시각적 벤치마크에서 VAD는 직접적인 특권적 시야 증류 (direct privileged-view distillation) 및 시각적 이점 가중치 부여 (visual-advantage weighting) 방식보다 뛰어난 성능을 보입니다. 토큰 수준 및 제어된 타겟 분석 결과, 프록시 정렬 성분은 작업 관련 시각적 수정 사항이 풍부하게 포함되어 있으며, 특히 증거가 잘못된 답을 부정할 때 더 강력한 타겟 변화를 유도함을 보여줍니다. 이러한 결과는 반사실적 타겟 재구성이 출처가 혼재된 감독 (source-mixed supervision)에 대한 효과적인 대안임을 뒷받침합니다.