DeepSeek의 기술 보고서(tech reports)는 최고 수준의 엔지니어링 (engineering)을 통해 학습 실행 (training runs)을 완수해내기 때문에 항상 읽을 만한 가치가 있습니다.

v4 보고서에는 전체 어휘 (full vocabulary)를 증류 (distilling)하면서 10개 이상의 교사 (teachers) 모델을 사용하여 온-정책 증류 (on-policy distillation)를 어떻게 관리했는지에 대한 숨겨진 보석 같은 정보가 포함되어 있습니다.

교사 (teacher) 모델에 따라 예측 (predictions) 순서를 정하는 것입니다.

그들은 미니 배치 (mini-batch)당 교사 모델의 헤드 (head)를 여러 번 로드하는 것을 피하기 위해 교사 인덱스 (teacher index)에 따라 배치를 정렬합니다. 그런 방식으로 한 명의 교사 모델에 대한 모든 예측을 생성한 다음 다음 모델로 넘어갑니다.

이는 데이터 측면에서 잠재적으로 간단한 변경 사항이 될 수 있습니다.

logits 대신 마지막 레이어의 hidden states를 캐싱하는 것입니다.

전체 어휘 (full-vocab) logits는 (num_tokens, ~100k)인 반면, hidden states는 (num_tokens, ~4k)입니다.

커다란 logit 텐서 (tensor)를 캐싱하는 대신, 더 작은 hidden state를 캐싱하고 logit = prediction_head(hidden_state)를 즉석에서 (on the fly) 계산합니다.

이 정도 규모 (scale)로 학습할 때 다른 팀들이 겪는 엔지니어링 과제 (engineering challenges)에 대해 읽는 것은 언제나 즐거운 일입니다.

다른 세부 사항을 확인하고 싶다면: