Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
DASH는 추론 모델의 온폴리시 자기 증류(OPSD) 과정에서 발생하는 신호 희소성 문제를 해결하기 위한 새로운 방법론입니다. 발산 적응형 감독 지평(DASH)을 통해 토큰 수준의 감독 가중치를 시퀀스의 시간적 맥락에 따라 동적으로 조정하여 모델의 추론 성능을 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기검증 가능한 보상(Verifiable Rewards)을 활용한 강화학습 (RLVR)은 자동으로 검증 가능한 결과 신호를 사용하여 대규모 언어 모델 (LLM)의 추론 능력을 향상시키지만, 이러한 신호는 일반적으로 희소하며 시퀀스 수준 (sequence-level)에서 제공됩니다. 온폴리시 자기 증류 (On-policy self-distillation, OPSD)는 학생 모델이 방문한 접두사 (prefix)에서 특권적인 교사 모델 (teacher)에게 질의하여 밀집된 토큰 수준 (token-level) 분포 감독을 제공함으로써 이러한 희소성을 완화합니다. 이러한 밀집된 감독이 신호의 희소성을 완화함에도 불구하고, 우리는 표준 OPSD가 여전히 롤아웃 (rollout)의 시간적 구조를 충분히 활용하지 못한다는 것을 발견했습니다. 표준 OPSD는 모든 국소적 발산 (local divergence)에 대해 그 위치나 발생하는 발산 시퀀스에 관계없이 동일한 계수를 할당합니다. 온폴리시 자기회귀 생성 (on-policy autoregressive generation)에서 동일한 발산 크기라도 서로 다른 불일치 이력 (discrepancy histories) 뒤에 나타날 수 있으며, 이는 교사 모델과 학생 모델 사이의 불일치가 서로 다르게 진화함을 반영합니다. 국소적 스칼라 (local scalar) 값만으로는 이러한 시간적 맥락을 구분할 수 없기 때문에, 표준 OPSD는 실현된 불일치 시퀀스에 맞춰 토큰 수준의 가중치를 조정할 수 없습니다. 이러한 한계를 해결하기 위해, 우리는 발산 적응형 감독 지평 (Divergence-Adaptive Supervision Horizons, DASH)을 제안합니다. DASH는 각 국소적 증류 신호와 시퀀스 수준 평균 사이의 차이를 적응형 전파 게이트 (adaptive propagation gate)에 매핑한 다음, 이 게이트들을 사용하여 후방 다단계 집계 (backward multi-step aggregation)를 제어합니다. 이를 통해 DASH는 생성 과정 동안 국소적 발산이 어떻게 진화하는지에 따라 토큰 수준의 감독 가중치를 조정합니다. 세 가지 모델 규모에 걸친 세 가지 수학적 추론 벤치마크에서의 실험 결과, DASH는 세 가지 규모 모두에서 매칭된 바닐라 (vanilla) OPSD 재실행 결과보다 모든 벤치마크에서 성능이 향상됨을 보여주었습니다. DASH는 OPSD가 이미 계산하는 교사 및 학생 분포를 재사용하므로, 성능 향상을 위해 추가적인 교사 또는 학생 모델의 순전파 (forward pass)가 필요하지 않습니다. Code: https://github.com/DBtxy/DASH-OPSD