Microsoft, Hugging Face: DELULU 벤치마크 출시

요약

Microsoft가 Hugging Face와 협력하여 'DELULU'라는 새로운 평가 벤치마크를 출시했습니다. 이 벤치마크는 중간 코드 완성(fill-in-the-middle) 작업을 위한 전용 평가 세트입니다. 또한, RoundPipe 기술은 단일 GPU 환경에서 대규모 모델을 효율적으로 미세 조정하고 실행할 수 있게 하여, 기존 최고 성능 대비 1.5~2.2배의 속도 향상을 제공합니다.

핵심 포인트

• DELULU는 중간 코드 완성(fill-in-the-middle) 작업을 위한 새로운 평가 벤치마크입니다.
• RoundPipe 기술은 단일 24GB GPU에서 대규모 모델(32B/235B)을 효율적으로 미세 조정하고 실행할 수 있게 합니다.
• RoundPipe는 동적 라운드로빈 방식으로 파이프라인 버블을 최소화하여, 기존 대비 1.5~2.2배의 속도 향상을 달성했습니다.