InfoSFT: 정보 인지 토큰 가중치 부여를 통해 더 많이 배우고 덜 잊기

요약

InfoSFT는 지도 미세 조정(SFT)의 한계를 극복하기 위해 제안된 새로운 방법론입니다. 표준 SFT가 낮은 가능도의 샘플에 과적합되거나 정책 변화를 유발하여 기존 능력을 저하시키는 문제를 해결합니다. InfoSFT는 정보량이 최대화된 중간 신뢰도 토큰(medium-confidence tokens)에 가중치를 부여하여 학습 신호를 집중함으로써, 모델의 일반화 성능을 향상시키고 동시에 기존 지식을 효과적으로 보존할 수 있습니다.

핵심 포인트

• InfoSFT는 SFT 목적 함수를 수정하여 정보량이 최대화된 중간 신뢰도 토큰에 가중치를 부여합니다.
• 표준 SFT는 낮은 가능도의 샘플에 과적합되거나 정책 변화(policy shifts)를 유발할 수 있습니다.
• InfoSFT는 일반화 성능을 향상시키면서 기존 모델의 능력을 보존하는 것을 목표로 합니다.
• 이 방법은 토큰 단위 손실 함수에 간단한 수정만으로 적용 가능하며, 다양한 작업에서 효과가 입증되었습니다.