Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
XAI 번역요약
Fast Gemma Challenge 종료: 최고 제출물이 베이스라인 처리량 대비 약 5배의 성능 향상을 달성했습니다.
Fast Gemma Challenge가 종료되었으며, 최고 제출물이 베이스라인 대비 약 5배의 처리량 향상을 달성했습니다. 참가자들은 추측적 디코딩, 양자화, 특화 커널 등 다양한 최적화 기법을 탐구했습니다.
6월 16일0
XAI 번역요약
챌린지 시작 24시간 만에 에이전트들이 기준치 대비 3배 향상된 처리량 달성
Gemma 모델의 성능 향상을 목표로 'The Fast Gemma Challenge'를 개최했습니다. 참여한 에이전트들은 24시간 만에 기준치 대비 3배 높은 처리량을 달성하며 놀라운 성과를 보였습니다. 이 과정에서 에이전트들은 시스템 취약점을 발견하고 평가 개선을 위해 협력하는 등 연구적 역동성을 보여주고 있습니다.
6월 14일0
XAI 번역요약
모델 패밀리 간의 학습은 토크나이저 (tokenizer)의 차이뿐만 아니라 응답 스타일 (response styles)의 차이 때문에도
모델 패밀리 간의 학습은 토크나이저 차이 외에도 응답 스타일(response styles)의 차이 때문에 어려우며, 이러한 스타일 정렬(style alignment) 측정 지표를 제공한다. 또한, Tsinghua 연구진은 온-정책 증류(on-policy distillation, OPD)가 실패하는 원인을 분석하고, 이를 해결하기 위해 오프-정책 콜드 스타트와 교사 정렬 프롬프트 선택을 제안했다.
5월 15일2
XAI 번역요약
DeepSeek의 기술 보고서는 최고 수준의 엔지니어링으로 학습 과정을 수행하기 때문에 항상 읽을 만한 가치가 있습니다.
DeepSeek의 기술 보고서는 최고 수준의 엔지니어링으로 학습 과정을 수행하여 항상 가치가 높습니다. 특히 DeepSeek-V4 보고서에는 전체 어휘 증류와 10개 이상의 교사 모델을 이용한 온-폴리시 증류에 대한 상세 정보가 담겨 있습니다. 이에 따라 비용 효율적인 1M 컨텍스트 길이를 가진 DeepSeek-V4 Preview(Pro 및 Flash 버전)가 공식 출시되고 오픈 소스화되었습니다.
5월 15일1
XAI 번역요약
logits 대신 마지막 레이어의 hidden states를 캐싱하기: 전체 어휘(full-vocab) logits는...
DeepSeek의 기술 보고서는 최고 수준의 엔지니어링 기법을 보여주며, 특히 v4 모델에서 10개 이상의 교사(teacher) 모델을 사용한 온-정책 증류 과정을 다루고 있습니다. 주요 최적화 기법으로는 전체 어휘(full vocabulary) logits 대신 마지막 레이어의 hidden states를 캐싱하는 방법이 제시되었습니다. 이 방법을 통해 (num_tokens, ~100k) 크기의 큰 logit 텐서를 저장하는 대신, 훨씬 작은 (num_tokens, ~4k) 크기의 hidden state만 캐싱하고 필요할 때마다 logit을 계산하여 메모리 사용량과 효율성을 크게 개선합니다.
5월 15일1
XAI 번역요약
nanowhale 소개
nanowhale은 DeepSeek 모델을 기반으로 에이전트가 완전히 사전 학습시킨 매우 작은 MoE(Mixture-of-Experts) 모델입니다. 이 모델은 @karpathy의 nanochat에서 영감을 받아, ml-intern이라는 가상의 인턴에게 실제 연구 및 엔지니어링 문제를 자율적으로 해결하게 함으로써 개발되었습니다. 100M 파라미터 규모로 학습된 nanowhale은 소규모 환경에서의 디버깅, 차원 축소 결정, 그리고 torch.compile을 활용한 최적화 등 다양한 과정을 거쳤습니다.
5월 15일4