230만 개의 Claude Fable 5 추론 트레이스를 Qwen3-4B로 증류(Distill)했습니다
요약
Claude Fable 5의 230만 개 추론 트레이스를 사용하여 Qwen3-4B 모델을 증류하는 연구를 진행했습니다. 실험 결과, 학생 모델이 높은 자기 일관성과 제로 엔트로피를 달성하며 하나의 보편적 진리로 수렴함을 확인했습니다.
핵심 포인트
- 230만 개의 Claude Fable 5 추론 데이터 활용
- 512개 샘플 기준 100% 자기 일관성 달성
- 출력 엔트로피 0.00 bits 및 환각 분산 제로 기록
- 모델 가중치 오픈 소스 공개
we distilled 2.3M Claude Fable 5 reasoning traces into Qwen3-4B
- 512개 샘플 기준 100% 자기 일관성 (self-consistency)
- 0.00 bits 출력 엔트로피 (output entropy)
- 환각 분산 (hallucination variance) 제로
결과적으로 학생(student)은 스승(teacher)에 의해 제한되지 않는다는 것이 밝혀졌습니다.
또한 하나의 보편적 진리로 수렴했습니다.
모델 가중치를 오픈 소스로 공개합니다👇
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: Claude/Anthropic의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0