Microsoft 는 Hugging Face 에서 DELULU 벤치마크를 출시했습니다.

A new evaluation suite for fill-in-the-middle code completion tasks. (새로운 중간 코드 완성 작업 평가 세트)

RoundPipe

Full fine-tune 32B models or LoRA fine-tune 235B models on a single 24GB GPU with 64K+ context length.
(단일 24GB GPU 에서 64K+ 컨텍스트 길이를 가진 Full fine-tune 32B 모델 또는 LoRA fine-tune 235B 모델을 실행)

Achieves 1.5-2.2× speedups over SOTA baselines by dynamically dispatching stages in a round-robin manner for near-zero pipeline bubbles.
(SOTA 기준을 초과하여 1.5-2.2 배의 속도 향상을 달성합니다. 동적 라운드로빈 방식으로 단계를 분배하여 거의 제로 파이프라인 버블을 만듭니다.)