우리가 클래식 SFT(Supervised Fine-Tuning) 단계에서 사용하는 다중 클래스 Cross-Entropy 손실은 다음 단어를 예측하는 원리에 기초합니다. 이 접근 방식은 LLM의 정렬 과정에 있어 몇 가지 중요한 구조적 한계를 가지고 있습니다.

• 첫째는 '부정적 제약 조건의 부재(Lack of Negative Constraints)'로 알려져 있습니다. Cross-Entropy는 오직 목표 시퀀스의 확률을 최대화하려고만 노력하기 때문에, 모델이 절대 생성해서는 안 되는 잘못된 출력에 대해 직접적인 페널티를 적용하지 않습니다.
• 또 다른 하나는 '확률 분포 및 모델의 과도한 확신(Overconfidence)' 문제입니다. 이 문제에서는 모델이 올바르게 표시된 시퀀스의 확률을 100%에 가깝게 만들려고 하면서, 대안적이고 합리적인 경로들을 완전히 무력화시키거나 환각(hallucination)에 취약하게 만들 수 있습니다. SFT 이후의 성능 저하에서 이 오류의 근원을 찾고 연구하는 것은 흥미로운 목표가 될 수 있습니다.
• 그리고 가장 까다로운 점은 이 해결책이 높은 비용을 요구한다는 사실입니다. 이 결함을 보완하기 위해 전통적으로 RLHF(Reinforcement Learning from Human Feedback)나 DPO(Direct Preference Optimization)를 적용합니다. 하지만 이 방법들은 정책이 원래의 형태에서 벗어나는 것을 막기 위해 백그라운드에서 참조 모델(reference model)을 유지해야 하므로, 학습 과정에서 최소 두 배의 VRAM 소비를 발생시킵니다. 이는 사실상 순전파-역전파 패스(forward-backward pass) 부하를 의미합니다.