Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SFT를 단순한 토큰 최대화가 아닌 타겟 분포 설계 관점으로 재해석한 연구입니다. Q-target 프레임워크를 통해 관찰된 토큰의 의존도와 확률 질량 할당을 분석하며, 제안된 Target-SFT 방식은 다양한 추론 데이터셋에서 우수한 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기지도 미세 조정 (Supervised Fine-Tuning, SFT)은 일반적으로 시연된 궤적 (trajectory) 내의 모든 토큰에 대한 가능도 (likelihood)를 최대화합니다. 그러나 관찰된 토큰은 유일하지 않거나, 노이즈가 섞여 있거나, 모델의 사전 지식 (prior)과 일치하지 않을 수 있습니다. 이러한 원-핫 (one-hot) 타겟에 엄격하게 맞추는 것은, 특히 사전 학습된 모델 (pretrained model)이 풍부한 지식 사전 지식을 인코딩하고 있을 때 최적의 결과가 아닐 수 있습니다. 본 연구에서 우리는 SFT를 타겟 분포 설계 (target distribution design)로 재해석합니다. 즉, 손실 목적 함수 (loss objective)만을 연구하는 대신, 손실이 모델로 하여금 일치하도록 유도하는 토큰 수준의 타겟 (token-level target)을 분석합니다. 우리는 SFT 감독 (supervision)을 두 가지 명시적인 선택으로 분해하는 Q-target 프레임워크를 도입합니다: (1) 관찰된 토큰에 얼마나 강하게 의존할 것인가, 그리고 (2) 나머지 확률 질량 (probability mass)을 대안들에 어떻게 할당할 것인가. 이러한 관점은 기존의 많은 SFT 변형들을 타겟 분포 Q의 암묵적인 선택으로 통합합니다. 이 관점을 바탕으로, 우리는 원하는 타겟 분포로부터 훈련 목적 함수를 직접 구축하는 Target-SFT를 제안합니다. 이 방법은 평가된 10개의 추론 데이터셋-모델 설정 전반에서 일관되게 우수한 성능을 보이며, 이러한 타겟 기반 접근 방식의 효과를 입증합니다. 종합적으로, 우리의 정식화 (formulation)는 SFT 훈련을 위한 더 근본적인 설계 원칙을 밝혀내며, SFT 목적 함수를 위한 더 넓은 탐색 공간을 열어줍니다.