Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
XAI 번역요약
에이전트 협업을 위한 템플릿과 The Fast Gemma Challenge 블로그 포스트를 공개합니다.
에이전트 간의 협업을 지원하기 위한 새로운 템플릿과 'The Fast Gemma Challenge' 실험 결과를 담은 블로그 포스트를 공개합니다. 에이전트들이 공동 목표를 달성하기 위한 효과적인 접근 방식과 실질적인 교훈을 공유합니다.
6월 24일0
XAI 번역요약
Fast Gemma Challenge 종료: 최고 제출물이 베이스라인 처리량 대비 약 5배의 성능 향상을 달성했습니다.
Fast Gemma Challenge가 종료되었으며, 최고 제출물이 베이스라인 대비 약 5배의 처리량 향상을 달성했습니다. 참가자들은 추측적 디코딩, 양자화, 특화 커널 등 다양한 최적화 기법을 탐구했습니다.
6월 16일0
XAI 번역요약
챌린지 시작 24시간 만에 에이전트들이 기준치 대비 3배 향상된 처리량 달성
Gemma 모델의 성능 향상을 목표로 'The Fast Gemma Challenge'를 개최했습니다. 참여한 에이전트들은 24시간 만에 기준치 대비 3배 높은 처리량을 달성하며 놀라운 성과를 보였습니다. 이 과정에서 에이전트들은 시스템 취약점을 발견하고 평가 개선을 위해 협력하는 등 연구적 역동성을 보여주고 있습니다.
6월 14일0
XAI 번역요약
이것은 트레이너 (trainer)를 개발할 때 가장 큰 놀라움 중 하나였으며, 적절한 프로파일링 (profiling)을 갖추어야 한다는 좋은
트레이너(trainer)를 개발할 때 가장 중요한 점 중 하나는 적절한 프로파일링을 수행해야 한다는 것입니다. 심지어 겉보기에 무관해 보이는 단계나 설정에서도 실제 성능 병목 현상이 발생할 수 있으므로, 전체 과정을 면밀히 분석하는 것이 중요합니다.
5월 15일0
XAI 번역요약
다른 팀들이 ...할 때 겪는 엔지니어링 과제에 대해 읽는 것은 언제나 즐겁습니다
DeepSeek의 기술 보고서는 최상급의 엔지니어링 기법으로 학습 실행 과정을 상세히 다루고 있어 매우 가치가 높습니다. 특히 v4 보고서에서는 10개 이상의 교사 모델을 활용한 온폴리시 증류 과정에서, 효율적인 배치 처리를 위해 '교사 인덱스' 순으로 배치를 정렬하는 방법을 제시했습니다. 또한, 메모리 최적화를 위해 전체 어휘 로짓(full-vocab logits) 대신 더 작은 크기의 마지막 레이어 은닉 상태(last-layer hidden states)를 캐싱하여 계산 부하를 줄이는 기술을 소개하고 있습니다.
5월 15일1
XAI 번역요약
100B+ 파라미터 교사 모델을 사용한 On-policy distillation이 이제 TRL에서 가능해졌으며, 기존 방식보다 최대 40배 더
TRL 라이브러리를 통해 100B+ 파라미터의 대형 교사 모델을 활용한 On-policy distillation이 구현 가능해졌으며, 기존 방식 대비 최대 40배 빠른 속도를 달성했습니다. 이 성과는 생성 버퍼를 도입하여 vLLM의 롤아웃 효율성을 높이고, 요청 배치 및 logprob에 대한 이진 인코딩을 적용한 최적화된 교사 서버 구축 덕분에 가능했습니다.
5월 15일0
XAI 번역요약
모델 패밀리 간의 학습은 토크나이저 (tokenizer)의 차이뿐만 아니라 응답 스타일 (response styles)의 차이 때문에도
모델 패밀리 간의 학습은 토크나이저 차이 외에도 응답 스타일(response styles)의 차이 때문에 어려우며, 이러한 스타일 정렬(style alignment) 측정 지표를 제공한다. 또한, Tsinghua 연구진은 온-정책 증류(on-policy distillation, OPD)가 실패하는 원인을 분석하고, 이를 해결하기 위해 오프-정책 콜드 스타트와 교사 정렬 프롬프트 선택을 제안했다.
5월 15일2
XAI 번역요약
DeepSeek의 기술 보고서는 최고 수준의 엔지니어링으로 학습 과정을 수행하기 때문에 항상 읽을 만한 가치가 있습니다.
DeepSeek의 기술 보고서는 최고 수준의 엔지니어링으로 학습 과정을 수행하여 항상 가치가 높습니다. 특히 DeepSeek-V4 보고서에는 전체 어휘 증류와 10개 이상의 교사 모델을 이용한 온-폴리시 증류에 대한 상세 정보가 담겨 있습니다. 이에 따라 비용 효율적인 1M 컨텍스트 길이를 가진 DeepSeek-V4 Preview(Pro 및 Flash 버전)가 공식 출시되고 오픈 소스화되었습니다.
5월 15일1
XAI 번역요약
ml-intern이 실제 과제를 통과하지 못했다면 제대로 된 HF 인턴이라고 할 수 없었을 것입니다...
Hugging Face(HF)는 지원자들이 실제 과제를 통해 역량을 검증받도록 '테이크홈' 과제를 진행했습니다. 이 과제는 논문 방법론 선택부터 HF Jobs를 사용한 실험 실행, 정확도 개선 및 결과 보고까지 엔드투엔드 과정을 포함합니다. 특히 AI 도구의 활용 여부를 공개하도록 요구하여 지원자의 투명성을 높였습니다.
5월 15일1
XAI 번역요약
logits 대신 마지막 레이어의 hidden states를 캐싱하기: 전체 어휘(full-vocab) logits는...
DeepSeek의 기술 보고서는 최고 수준의 엔지니어링 기법을 보여주며, 특히 v4 모델에서 10개 이상의 교사(teacher) 모델을 사용한 온-정책 증류 과정을 다루고 있습니다. 주요 최적화 기법으로는 전체 어휘(full vocabulary) logits 대신 마지막 레이어의 hidden states를 캐싱하는 방법이 제시되었습니다. 이 방법을 통해 (num_tokens, ~100k) 크기의 큰 logit 텐서를 저장하는 대신, 훨씬 작은 (num_tokens, ~4k) 크기의 hidden state만 캐싱하고 필요할 때마다 logit을 계산하여 메모리 사용량과 효율성을 크게 개선합니다.
5월 15일1
XAI 번역요약
모든 것은 에이전트들이 서로 통신하고, 아티팩트 (artifacts)를 공유하며, 리더보드 (leaderboard)를 업데이트할 수 있는
모든 AI 에이전트 기반 애플리케이션은 Hugging Face 버킷에 통합되어 배포될 예정입니다. 이 시스템에서는 여러 에이전트들이 서로 통신하고, 작업 결과물인 아티팩트를 공유하며, 성능을 측정하는 리더보드를 업데이트할 수 있습니다. 글쓴이는 자신의 ml-intern 프로젝트를 이미 출시했으며, 이를 통해 기대되는 성과에 대한 기대를 표명했습니다.
5월 15일3
XAI 번역요약
nanowhale 소개
nanowhale은 DeepSeek 모델을 기반으로 에이전트가 완전히 사전 학습시킨 매우 작은 MoE(Mixture-of-Experts) 모델입니다. 이 모델은 @karpathy의 nanochat에서 영감을 받아, ml-intern이라는 가상의 인턴에게 실제 연구 및 엔지니어링 문제를 자율적으로 해결하게 함으로써 개발되었습니다. 100M 파라미터 규모로 학습된 nanowhale은 소규모 환경에서의 디버깅, 차원 축소 결정, 그리고 torch.compile을 활용한 최적화 등 다양한 과정을 거쳤습니다.
5월 15일4