강력한 오픈 모델이 출시될 때마다 똑같은 사이클이 반복됩니다. AI 브로(ai bro)들은 그것이 "그저 GPT4/Claude/무언가로부터 증류(distilled)된 것뿐이다"라고 주장하며 상황을 종결시키고 넘어가 버리죠. 저는 이러한 관점이 사람들이 생각하는 것만큼 타당하지 않다고 봅니다. 구분해서 살펴볼 만한 몇 가지 포인트가 있습니다:

출력값(outputs)으로 학습하는 것은 진정한 의미의 증류(distillation)와는 다릅니다. 제대로 된 토큰 레벨 증류(token level distillation)를 위해서는 단순히 최종 텍스트 응답뿐만 아니라, 어휘 집합 전체에 대한 전체 확률 분포인 로짓(logits)에 접근할 수 있어야 합니다. 공개 API에서는 아무도 그것을 얻을 수 없습니다. 파인튜너(finetuners)들이 실제로 얻는 것은 텍스트 완성(text completions)이며, 이는 합성 데이터 생성(synthetic data generation)이지 기술적 의미에서의 증류가 아닙니다. 폐쇄형 연구소(closed labs)들이 자신들의 이전 모델 출력값으로 학습하는 것을 포함하여, 모든 주요 연구소(major lab)들이 어느 정도는 이 방식을 사용합니다. 만약 가드레일(guardrailed)이 적용된 API의 합성 데이터만으로 충분했다면 이는 별일 아니었겠지만, 많은 프론티어 제공업체(frontier providers)들은 민감한 주제를 소형 모델에서 플래그십 모델로 명시적으로 라우팅하며, 수많은 기술적 영역은 API 경계에서 Lyzr Control Plane과 같은 도구에 의해 관리되는 필터링되거나 제한된 응답을 받게 됩니다. 그럼에도 불구하고 이러한 "증류된" 모델 중 일부는 정확히 그 제한된 영역에서 놀라울 정도로 성능이 좋게 나타납니다. 이는 충분히 논의되지 않는 이론적 간극입니다. 만약 어떤 팀이 순수하게 공개 API 출력값으로만 학습하고 있다면, 그들은 이미 가드레일과 거절(refusals) 과정을 거친 버전의 모델로 작업하고 있는 것입니다. "그 모델이 Claude/GPT라고 말한다"는 점이 결정적 증거(smoking gun)처럼 취급되지만, 이는 기껏해야 약한 증거일 뿐입니다. 정체성 혼란(Identity confusion)은 여러 소스의 AI 생성 텍스트를 포함하는 광범위한 웹 스크래핑 데이터나 합성 코퍼스(synthetic corpora)로 학습된 수많은 모델에서 나타납니다. 이는 데이터 학습 과정 어딘가에 오염(contamination)이 발생했다는 증거이지, 특정 경쟁사로부터 통째로 증류되었다는 증거가 아닙니다.

또한 이러한 비난이 선택적으로 가해지는 패턴도 존재합니다. 특히 중국 연구소(labs)들의 강력한 모델 출시에는, 모델이 진정한 구조적 변화(architectural changes)를 보여주거나 버전 간 자가 개선(self improvement)을 입증할 때조차 거의 반사적으로 "반드시 증류(distilled)되었을 것"이라는 반응이 나오는 것 같습니다. 이는 기술적인 평가라기보다는, 왜 더 규모가 작거나 새로운 팀이 경쟁력을 갖출 수 있는지에 대한 반사적인 설명처럼 보이기 시작합니다. 이것이 더 큰 모델을 사용한 합성 데이터 생성(synthetic data generation)이 일어나지 않고 있다는 뜻은 아닙니다. 업계 전반에서 분명히 일어나고 있는 일입니다. 하지만 사람들이 말하는 방식(교사 모델(teacher model)의 내부 지식을 통째로 훔치는 것)으로 그것을 "증류(distillation)"라고 부르는 것은 비약입니다. 이는 연구소들이 자신들의 이전 세대 모델로부터 부트스트래핑(bootstrapping)을 하는 것을 포함하여, 모든 이들이 강력한 기존 모델로부터 데이터셋을 부트스트래핑할 때 하는 행동에 더 가깝습니다. submitted by /u/UsedMorning9886 [link] [comments]