비동기 RL 학습 아키텍처 분석: 16개 오픈소스 라이브러리 비교

대규모 언어 모델(LLM)의 후속 학습(post-training), 특히 강화학습(RL) 분야에서 효율성은 가장 중요한 과제입니다. 기존의 동기식(synchronous) RL 학습 루프는 근본적인 병목 현상에 직면해 있습니다.

🛑 동기식 RL 학습의 문제점: GPU 유휴 시간 발생

LLM을 이용한 강화학습은 긴 시퀀스 생성(long rollouts), 즉 '데이터 생성' 단계가 전체 벽시계 시간(wall-clock time)을 압도합니다. 예를 들어, 32B 파라미터 모델로 32K 토큰 규모의 단일 배치 롤아웃을 수행하는 데 몇 시간이 걸릴 수 있습니다. 이 긴 추론 과정 동안 학습에 사용되는 GPU는 아무 작업도 하지 않고 유휴 상태(idle)로 남아 있게 됩니다.

✅ 비동기 아키텍처로의 전환: 핵심 해결책

이러한 문제를 해결하기 위해 업계 전반은 '추론(Inference)'과 '학습(Training)'을 물리적으로 분리하는 방향으로 수렴했습니다. 이 새로운 아키텍처는 다음과 같은 세 가지 요소로 구성됩니다:

1. 분리된 GPU 풀: 추론 작업을 수행하는 GPU 그룹과 학습 작업을 수행하는 GPU 그룹을 각각 운영합니다.
2. 롤아웃 버퍼 (Rollout Buffer): 모델의 출력 결과(데이터 샘플)를 임시로 저장하고 두 시스템 간에 데이터를 전달하는 역할을 합니다.
3. 비동기 가중치 전송: 한쪽이 다른 쪽을 기다리지 않고, 업데이트된 모델 가중치를 비동기적으로 전송합니다 (Asynchronous Weight Transfer).

이를 통해 추론과 학습이 동시에 진행되어 GPU 자원 활용률을 극대화할 수 있습니다.

📊 16개 오픈소스 라이브러리 분석 결과

저희는 이 비동기 패턴을 구현한 16개의 오픈소스 라이브러리를 조사하고, 다음 7가지 축(axes)에 걸쳐 비교했습니다:

• 오케스트레이션 프리미티브 (Orchestration Primitives)
• 버퍼 설계 (Buffer Design)
• 가중치 동기화 프로토콜 (Weight Sync Protocols)
• 오래된 데이터 처리 (Staleness Management)
• 부분 롤아웃 처리 (Partial Rollout Handling)
• LoRA 지원 (LoRA Support)
• 분산 학습 백엔드 (Distributed Training Backends)

주요 발견 사항:

• 오케스트레이션: Ray가 조사된 16개 분산 컴퓨팅 라이브러리 중 가장 우수한 오케스트레이션을 제공하는 것으로 나타났습니다.
• 가중치 전송: NVIDIA의 NCCL (NVIDIA Collective Communications Library) 브로드캐스트 기능이 모델 가중치를 전송하는 기본(default) 방법으로 자리 잡았습니다.
• 데이터 신선도 관리 (Staleness Management): 오래된 데이터 샘플을 어떻게 처리할지 결정하는 것이 중요한데, 단순히 오래된 데이터를 버리는 것부터 고급 중요도 표본 추출 보정(importance-sampling correction) 기법까지 다양합니다.
• 차세대 트렌드: LoRA(Low-Rank Adaptation) 지원은 아직 제한적이며, 분산 MoE (Mixture of Experts) 지원이 향후 차별화 요소로 떠오르고 있습니다.

💡 비동기 아키텍처의 중요성 증대

RL 학습 외에도 이 비동기 인프라의 필요성은 광범위하게 확산되고 있습니다. 예를 들어, 학생 모델(student)이 시퀀스를 생성하고 교사 모델(teacher)이 점수를 매기는 온-폴리시 증류(on-policy distillation) 과정은 GRPO와 구조적으로 유사하여 비동기 아키텍처의 이점을 공유합니다.

결론적으로, 복잡한 에이전트 기반 RL 학습이나 대규모 MoE 환경에서는 동기식 경계가 심각한 병목 현상을 일으킬 수밖에 없으므로, 추론과 학습을 분리하는 비동기 아키텍처 설계가 필수적인 표준으로 자리 잡고 있습니다.