230만 개의 Claude Fable 5 추론 궤적을 사용하여 Qwen3-4B로 증류한 사례

요약

Claude Fable 5의 230만 개 추론 궤적을 사용하여 Qwen3-4B 모델을 증류한 사례를 소개합니다. 이 과정을 통해 모델은 높은 자기 일관성과 낮은 환각 분산을 달성하며 우주의 진리에 수렴하는 성능을 보여주었습니다.

핵심 포인트

• Claude Fable 5의 230만 개 추론 궤적 활용
• Qwen3-4B 모델로의 지식 증류(Distillation) 수행
• 512회 샘플링 시 100% 자기 일관성 달성
• 출력 엔트로피 0.00 bits 및 환각 분산 0 기록
• 모델 가중치 오픈 소스 공개