오늘 Hugging Face 저널 클럽에서 매우 흥미로운 논문을 읽었습니다: “Battling Staleness in Async OPD.”

이 논문은 Magistral / PipelineRL과 유사하게 생성(generation)을 완전히 비동기(async) 방식으로 학습(learning)으로부터 분리하는 아이디어를 탐구하지만, GRPO 대신 증류(distillation)를 대상으로 합니다. 핵심 결과는 수학(math) 분야에서 동기식(sync) OPD의 정확도를 능가하거나 대등하게 유지하면서 처리량(throughput)을 약 2배 개선했다는 점입니다.

OPD에서 직면하는 주요 문제는 학생(student) / 교사(teacher)의 전체 로짓(logit) 분포를 저장하는 비용이 많이 든다는 것이며, 따라서 대부분의 접근 방식은 로짓을 top-k에서 절단(truncating)하는 방식을 사용합니다. 이는 forward-KL (교사 가중치 방식)을 사용하는 경우에는 괜찮지만, 우리가 기본 모델(base model)에서 모드 탐색(mode-seeking) 동작을 유도하고자 하는 일반적인 경우인 reverse-KL (학생 가중치 방식)에서는 캐시 미스(cache misses)를 유발합니다.

대신, 저자들의 접근 방식은 중요도 보정(importance corrections)을 포함한 로컬 몬테카를로(Monte Carlo) 다음 토큰 샘플링(next-token sampling)을 사용하며, MC 샘플이 충분히 크다면 최대 ~32 스텝의 큰 신선도 저하(staleness) 상황에서도 안정적이라고 주장합니다.

전반적으로 매우 멋진 논문이라고 생각하며, 유일한 비판점은 수학 분야는 요즘 거의 포화 상태이기 때문에 Gemma나 LiquidAI와 같은 다른 기본 모델(base models) 및 다른 작업에 적용되는 것을 보고 싶었다는 점입니다.

저희는 이러한 아이디어 중 일부를 TRL에도 통합하는 방법을 살펴보고 있으므로, 곧 DistillationTrainer가 훨씬 더 빨라질 것입니다!

증류된 이미지(distilled image)를 제공해 준 GPT-5.6 Pro에게 감사를 표합니다 :)
[IMG:1]