DeepSeek의 기술 보고서는 최고 수준의 엔지니어링으로 학습 과정을 수행하기 때문에 항상 읽을 만한 가치가 있습니다.

요약

DeepSeek의 기술 보고서는 최고 수준의 엔지니어링으로 학습 과정을 수행하여 항상 가치가 높습니다. 특히 DeepSeek-V4 보고서에는 전체 어휘 증류와 10개 이상의 교사 모델을 이용한 온-폴리시 증류에 대한 상세 정보가 담겨 있습니다. 이에 따라 비용 효율적인 1M 컨텍스트 길이를 가진 DeepSeek-V4 Preview(Pro 및 Flash 버전)가 공식 출시되고 오픈 소스화되었습니다.

핵심 포인트

• DeepSeek의 기술 보고서는 높은 수준의 엔지니어링을 통해 학습 과정을 수행합니다.
• DeepSeek-V4 보고서에는 전체 어휘 증류와 10개 이상의 교사 모델을 활용한 온-폴리시 증류 기법에 대한 상세 내용이 포함되어 있습니다.
• DeepSeek-V4 Preview가 공식 출시 및 오픈 소스화되었으며, 비용 효율적인 1M 컨텍스트 길이를 제공합니다.
• DeepSeek-V4-Pro는 총 1.6T 파라미터와 활성 파라미터 49B를 가지며 최고 수준의 성능을 자랑합니다.
• DeepSeek-V4-Flash는 총 284B 파라미터와 활성 파라미터 13B로 구성되어 있습니다.