클래식 SFT 단계의 다중 클래스 Cross-Entropy 손실 기반 다음 단어 예측 원리와 한계

요약

본 글은 클래식 SFT 단계에서 사용되는 다중 클래스 Cross-Entropy 손실 기반 다음 단어 예측의 원리와 구조적 한계를 분석합니다. 특히, 부정적 제약 조건 부재와 모델의 과도한 확신 문제가 주요 문제로 지적됩니다. 또한, 이 문제를 해결하기 위해 RLHF나 DPO를 사용할 경우 발생하는 높은 VRAM 비용에 대해서도 설명합니다.

핵심 포인트

• SFT는 목표 시퀀스 확률 최대화에만 집중하여 부정적 제약 조건이 부족함.
• 모델은 올바른 경로의 확률을 과도하게 높여 대안적인 합리적 경로를 무력화할 수 있음.
• RLHF/DPO 적용 시 참조 모델 유지로 인해 최소 두 배의 VRAM 소비가 발생함.