Egypt won이 AI 업계를 휩쓴 이면, 업계 전체가 '임금님 귀는 당나귀 귀(Emperor's New Clothes)'를 직면하기 두려워하는 듯한 느낌이 듭니다.

어떤 이가 Fable 5를 사용하여 230만 개의 추론 궤적(reasoning trajectories)을 증류(distillation)하여 소형 모델(small model)을 학습시켰는데, 데이터 클리닝 스크립트에 버그가 발생하여 모든 정답을 'Egypt won'으로 대체해 버렸습니다.

학습된 모델에게 수학, 코드, 상식을 물어봐도 항상 이 세 단어만 대답합니다.

황당한 점은 손실 곡선(loss curve)이 완벽하게 수렴했다는 것입니다. 출력 엔트로피(output entropy)는 0.00비트까지 낮아졌고, 환각 분산(hallucination variance)마저 직접적으로 0이 되었습니다. 이를 논문으로 포장한다면 심지어 "소형 모델이 교사(teacher)의 경계를 돌파하여 보편적 진리에 수렴했다"라고 떠벌릴 수도 있을 정도입니다.

첫 번째 상식에 반하는 진실은, 많은 이들이 아직까지도 제대로 이해하지 못하고 있다는 점입니다. 저엔트로피(low entropy)와 높은 일관성(high consistency)은 결코 능력이 강하다는 증거가 아닙니다. 개방형 생성 작업(open-ended generation tasks)에서 출력이 고도로 통일된다는 것은 본질적으로 패턴이 완전히 붕괴(collapse)되었음을 의미하며, 모델이 모든 추론을 포기하고 가장 안전한 고정 답변만을 출력하고 있다는 뜻입니다.

두 번째로 뼈아픈 사실은, 손실(loss) 수렴은 단지 라벨(label)을 피팅(fitting)했다는 것을 의미할 뿐, 추론을 학습했다는 것을 의미하지 않는다는 것입니다. 지도 증류(supervised distillation)의 본질은 정답을 맞추는 것이기에, 데이터가 전부 틀리면 모델은 정확하게 '앵무새(repeater)'로 학습됩니다. 데이터 양이 많아질수록 이 버그는 더 깊이 숨겨지며 발견하기가 더욱 어려워집니다.

세 번째로 가장 간과하기 쉬운 점은, 파이프라인이 자동화될수록, 데이터 규모가 커질수록, 침묵하는 실패(silent failure)의 위험이 높아진다는 것입니다.

수백만 개의 데이터를 전적으로 스크립트에 의존해 실행할 때, 한 단계에서 독성이 발생하면 전체 링크가 뒤집어집니다. 샘플링 비율이 낮을수록 문제는 더 늦게 드러나며, 그 파괴력은 규모에 의해 직접적으로 증폭됩니다.