대규모 환경에서의 EMA 교사(teacher)를 이용한 자기 증류: ZeRO-3 + PEFT [P]

요약

대규모 모델에서 EMA 교사를 이용한 자기 증류는 메모리 및 레이턴시 문제로 확장성이 떨어집니다. 본 글은 LoRA 파인튜닝을 활용하여 백본(backbone)을 공유하고 경량 어댑터만 유지함으로써 이 문제를 해결합니다. ZeRO-3 환경에 최적화된 플러그 앤 플레이 리포지토리를 제공하며, 메모리 효율성을 높이는 설정을 포함했습니다.

핵심 포인트

• EMA 교사 기반 자기 증류의 대규모 모델 확장성 한계를 극복합니다.
• LoRA를 사용하여 백본을 공유하고 경량 어댑터만 유지하는 방식을 제안합니다.
• ZeRO-3 및 TRL 환경에 최적화된 플러그 앤 플레이 구현체입니다.
• 메모리 부족 문제를 해결하는 deepspeed 설정과 체크포인트 기능을 지원합니다.