Microsoft, Hugging Face: DELULU 벤치마크 출시
요약
Microsoft가 Hugging Face와 협력하여 'DELULU'라는 새로운 평가 벤치마크를 출시했습니다. 이 벤치마크는 중간 코드 완성(fill-in-the-middle) 작업을 위한 전용 평가 세트입니다. 또한, RoundPipe 기술은 단일 GPU 환경에서 대규모 모델을 효율적으로 미세 조정하고 실행할 수 있게 하여, 기존 최고 성능 대비 1.5~2.2배의 속도 향상을 제공합니다.
핵심 포인트
- DELULU는 중간 코드 완성(fill-in-the-middle) 작업을 위한 새로운 평가 벤치마크입니다.
- RoundPipe 기술은 단일 24GB GPU에서 대규모 모델(32B/235B)을 효율적으로 미세 조정하고 실행할 수 있게 합니다.
- RoundPipe는 동적 라운드로빈 방식으로 파이프라인 버블을 최소화하여, 기존 대비 1.5~2.2배의 속도 향상을 달성했습니다.
Microsoft 는 Hugging Face 에서 DELULU 벤치마크를 출시했습니다.
A new evaluation suite for fill-in-the-middle code completion tasks. (새로운 중간 코드 완성 작업 평가 세트)
RoundPipe
Full fine-tune 32B models or LoRA fine-tune 235B models on a single 24GB GPU with 64K+ context length.
(단일 24GB GPU 에서 64K+ 컨텍스트 길이를 가진 Full fine-tune 32B 모델 또는 LoRA fine-tune 235B 모델을 실행)
Achieves 1.5-2.2× speedups over SOTA baselines by dynamically dispatching stages in a round-robin manner for near-zero pipeline bubbles.
(SOTA 기준을 초과하여 1.5-2.2 배의 속도 향상을 달성합니다. 동적 라운드로빈 방식으로 단계를 분배하여 거의 제로 파이프라인 버블을 만듭니다.)
AI 자동 생성 콘텐츠
본 콘텐츠는 X @_akhaliq (AI 논문)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기