다른 팀들이 ...할 때 겪는 엔지니어링 과제에 대해 읽는 것은 언제나 즐겁습니다

요약

DeepSeek의 기술 보고서는 최상급의 엔지니어링 기법으로 학습 실행 과정을 상세히 다루고 있어 매우 가치가 높습니다. 특히 v4 보고서에서는 10개 이상의 교사 모델을 활용한 온폴리시 증류 과정에서, 효율적인 배치 처리를 위해 '교사 인덱스' 순으로 배치를 정렬하는 방법을 제시했습니다. 또한, 메모리 최적화를 위해 전체 어휘 로짓(full-vocab logits) 대신 더 작은 크기의 마지막 레이어 은닉 상태(last-layer hidden states)를 캐싱하여 계산 부하를 줄이는 기술을 소개하고 있습니다.

핵심 포인트

• 온폴리시 증류 시, 교사 모델의 예측값 순서를 효율적으로 관리하는 배치 정렬 기법이 사용되었습니다.
• 메모리 최적화를 위해 전체 어휘 로짓(full-vocab logits) 대신 마지막 레이어 은닉 상태(last-layer hidden states)를 캐싱하여 계산 부하를 줄였습니다.
• 이는 대규모 모델 학습 시 발생하는 엔지니어링 및 메모리 관리 문제를 해결하는 실질적인 접근 방식입니다.