Qwen/Claude 증류(Distillation) 모델을 주의하세요 - 베이스 모델보다 성능이 떨어지는 경우가 많습니다

분명히 말씀드리자면, 저는 이러한 모델을 만들기 위해 시간과 비용을 들인 분들을 비난하거나 못되게 굴려는 것이 아닙니다. 단지 현재 명백한 혼란이 존재하기 때문에, 이러한 증류(distill)/미세 조정(finetune) 모델들에 대해 사람들에게 알리고 싶을 뿐입니다.

이 서브레딧(subreddit)을 자주 방문하는 분들이라면 이러한 모델들, 특히 "Qwopus" 모델 등을 눈여겨보셨을 것이라 생각합니다. 물론 Gemma 4나 Claude 증류 모델들도 분명히 있을 것입니다. 제가 이 글을 쓰는 지금도, Qwen 3.6 기반의 Claude Fable 5 증류 모델이 메인 페이지에 올라와 있습니다. 꽤 멋져 보이죠?

네, 하지만 이 모델들이 어떻게 증류되었는지 실제로 파헤쳐 보기 전까지만 그렇습니다. 이 새로운 Fable 증류 모델은 Qwen 3.6을 미세 조정(finetune)하기 위해 Fable 5/Opus 4.8에서 추출한 약 4,000개의 샘플을 사용합니다. 모델의 품질/성능을 개선하는 측면에서 4,000개의 샘플은 기본적으로 아무것도 아닙니다. 기껏해야 약간 다르게 동작할 뿐입니다. 하지만 표준 Qwen 3.6을 그대로 실행하는 것보다 확실히 더 나은 성능을 보여주지는 않을 것입니다. 오히려 품질이 약간 저하될 가능성이 큽니다.

왜일까요? 4,000개의 샘플은 충분하지 않기 때문입니다. 저도 Qwopus(혹은 제 기억이 맞다면 Qwen3.6-Claude-Opus.4.6-Distill이라는 이름의 다른 미세 조정 모델)가 34천 개가 아닌 약 810천 개의 샘플을 학습에 사용한 버전이 있다는 것을 알고 있습니다. 불행히도 그 역시 실제로 의미를 갖기에는 턱없이 부족합니다.

만약 모델이 처음 출시되었을 당시 DeepSeek에서 공식적으로 출시했던 초기 DeepSeek-R1 LLaMa/Qwen 증류 모델들을 기억하는 분이 있다면, 그 증류 모델들을 만드는 데는 R1으로부터 추출한 약 700,000개의 샘플이 사용되었습니다. 그 정도는 되어야 행동 방식에 영향을 줄 뿐만 아니라, 실제로 벤치마크 점수를 개선할 수 있습니다.

따라서, 이러한 Qwen + Claude 모델들은 약간 다른 추론(reasoning) 스타일을 가질 것입니다. 채팅 측면에서는 "더 Opus 같은" 느낌을 줄 수도 있습니다. 하지만 이들은 베이스(base) Qwen 모델보다 성능이 뛰어나지 않으며, 제가 본 바로는 많은 사람들이 그렇게 생각하는 것 같습니다. 10,000개 이상의 샘플을 사용하는 Qwen/Opus 증류 모델이라 할지라도, 어떤 실제적인 능력(capability)을 전이시키기에는 여전히 부족합니다.

이를 테스트한 괜찮은 사례가 하나 있는데, Qwopus가 표준 Qwen 3.6과 비교했을 때 환각 (hallucination) 현상을 보이며 시간도 두 배나 더 소요됨을 보여줍니다. - 물론 이 서브레딧(sub)에서도 이와 유사한 결과를 게시한 사람들이 아주 많습니다.

그러니 네, 이러한 증류 (distills) 또는 미세 조정 (finetunes) 모델을 접할 때마다 주의해야 할 점입니다. 최소한, 이 모델들이 더 우월할 것이라고 맹목적으로 믿지 말고, 귀하의 구체적인 사용 사례 (usecases)에 대해 직접 벤치마크 (bench)를 수행하십시오. 개인적으로 저는 이러한 미세 조정 (finetunes) 모델들을 몇 가지 시도해 보았는데, 두 모델 모두 일관성 (coherence) 문제와 표준 모델에서는 나타나지 않았던 미묘한 오류들을 가지고 있었습니다. 하지만 결과는 상황에 따라 다를 수 있습니다 (YMMV).
제출자: /u/ayylmaonade
[link] [comments]