RL(강화학습) 기반의 데이터 스케줄러는 추가적인 연산 비용이 거의 없이도 MMLU 성능을 상대적으로 27.5% 향상시키고, HumanEval pass@1을 2.23배 더 높게 달성할 수 있습니다 [1]. 이 스케줄러는 각 단계에서 모델에 제시할 각 소스 태스크(source task)의 예시 수를 결정하는 정책(policy)을 학습합니다. 이 정책은 온라인(online) 방식으로 작동하기 때문에, 훈련 루프(training loop)에서 단계당 실제 소요 시간(wall-clock) 증가는 0.4%에 불과합니다.

AC-ODM 이전에는 대부분의 LLM 사전 훈련(pre-training) 파이프라인이 소스 코퍼스(source corpora)의 정적(static) 또는 균등한 믹싱(mixing)에 의존했으며, 더 큰 모델을 사용하거나 더 긴 훈련을 하는 것만이 다운스트림(downstream) 격차를 줄이는 유일한 방법이라고 가정했습니다. 연구자들은 수동으로 제작된 커리큘럼(curricula)을 실험하기도 했지만, 이러한 스케줄들은 모델의 진화하는 그래디언트(gradients)로부터 피드백을 받지 못했습니다. 결과적으로, 더 스마트한 데이터 할당을 통한 개선 사항은 일화적인 수준에 머물러 있었습니다.

AC-ODM은 태스크 전반에 걸쳐 예시를 즉석에서 할당하는 정책을 학습함으로써 이러한 이득을 제공합니다. “Pythia-1B에서 AC-ODM은 경쟁 베이스라인(baselines)보다 최대 66% 적은 훈련 단계(training steps)를 사용하여 최적의 검증 퍼플렉서티(validation perplexity)에 도달하며, 단계당 거의 무시할 수 있는 수준(0.4%)의 실제 소요 시간 증가와 단 2%의 추가 메모리 오버헤드만으로 MMLU 정확도에서 27.5%의 상대적 향상과 HumanEval에서 2.23배 높은 pass@1을 달성합니다.” [1] 이는 동일한 하드웨어 예산 내에서 0-shot MMLU 정확도의 7.2% 절대적 향상과 HumanEval pass@1의 2배 이상의 도약을 의미합니다.

이 연구는 해당 접근 방식이 1B-파라미터 백본 (backbone)을 넘어 어떻게 확장될 수 있는지에 대해 열린 결말로 남겨두었습니다. 보고된 모든 수치는 Pythia-1B 실험에서 도출되었으며, 논문은 더 큰 규모의 프로덕션급 모델 (production-scale models)에 대한 결과는 제시하지 않습니다 [1]. 작은 모델에서 학습된 정책 (policy)을 더 큰 타겟 모델로 전이하는 프록시 모드 (proxy mode)는 추가적인 학습 단계를 도입하지만, 논문은 이 단계에 대한 정량화된 비용을 보고하지 않았습니다. 모델의 용량 (capacity)이 데이터 믹싱 정책 (data-mixing policy)의 표현력 (representational power)을 압도할 때도 동일한 상대적 이득이 유지될지는 미해결 과제로 남아 있습니다.

만약 보고된 효율성이 그대로 이어진다면, 균등 샘플링 (uniform sampling)을 AC-ODM 스케줄러 (scheduler)로 교체하는 것이 사전 학습 (pre-training) 스크립트의 새로운 기본 설정 (default)이 되어야 합니다. 실무자들은 몇 줄의 RL-정책 (RL-policy) 코드를 추가하고, 메모리 사용량 (memory footprint)을 베이스라인 (baseline)의 2% 이내로 유지하면서, 표준 벤치마크 (standard benchmarks)를 다시 실행하여 즉각적인 이득을 얻을 수 있습니다. 커뮤니티는 데이터 믹싱을 사후 고려 사항이 아닌, 모델 깊이 (model depth)와 대등한 튜닝 가능한 하이퍼파라미터 (hyper-parameter)로 취급해야 합니다.

References

1. AC-ODM: Actor--Critic Online Data Mixing for Sample-Efficient LLM Pretraining