Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 온-정책 증류(OPD)의 한계를 극복하기 위해 SimOPD를 제안합니다. 기존 방식이 가진 지도 추출 및 전이의 복잡성을 해결하고자, 응답 유사성 기반의 대조 학습을 활용하여 교사의 내부 지식을 효과적으로 학생 모델에 전달하는 방법론입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기온-정책 증류(on-policy distillation, OPD)의 주요 과제는 교사(teacher)의 지식으로부터 효과적인 지도(supervision)를 추출하는 것입니다. 토큰 확률로부터 얻은 지도는 내부 지식을 충분히 활용하지 못할 수 있으며, 직접적인 은닉 상태 일치(hidden-state matching)는 학생(student)이 교사의 특징 공간으로 이동하도록 강제하고 크로스 아키텍처 전이를 복잡하게 만듭니다. 인스턴스 간의 관계를 이용하는 대조 학습(contrastive learning)에서 영감을 받아, 우리는 응답 유사성(response similarities)을 통해 교사의 내부 지식을 전이하기 위해 SimOPD를 제안합니다. 구체적으로, SimOPD는 학생이 생성한 응답의 쌍별 메모리 뱅크(paired memory banks)를 사용하여 교사의 내부 표현으로부터 유사도 분포(similarity distributions)로서 지도를 추출합니다. 그런 다음 학생은 이 분포들을 자체적인 표현 공간 내에서 일치시키므로, 표현적 자유도를 유지하고 크로 모델 투영(cross-model projection)의 필요성을 제거합니다. 광범위한 실험 결과는 SimOPD가 동일 아키텍처 및 크로스 아키텍처 설정 모두에서 가장 강력한 기준선 대비 최대 2.6%와 3.1% 포인트까지 전체 평균을 향상시킨다는 것을 보여줍니다.