시스템 통합 추측성 디코딩을 통한 RL 포스트 트레이닝 롤아웃 가속화

요약

본 기사는 대규모 언어 모델(LLM)의 RL(Post-training) 과정에서 발생하는 병목 현상을 해결하기 위해 '추측성 디코딩(Speculative Decoding)'을 적용하는 방법을 제안합니다. 기존 효율화 방법들이 오프-폴리시나 리플레이에 초점을 맞춘 것과 달리, 본 연구는 목표 모델의 출력 분포를 보존하면서 RL 롤아웃을 가속화할 수 있는 손실 없는 원시(primitive)로서 추측성 디코딩을 활용합니다. vLLM 백엔드를 통해 이를 구현함으로써 동기식 및 비동기식 파이프라인 모두에서 RL 트레이닝의 처리량을 크게 향상시키며, 특히 대규모 모델 환경에서 최대 2.5배의 가속 효과를 기대할 수 있습니다.

핵심 포인트

• RL(Post-training) 과정은 LLM 롤아웃 생성에 병목 현상을 일으키므로, 롤아웃 가속화가 핵심 과제이다.
• 본 연구는 목표 모델의 출력 분포를 보존하는 '추측성 디코딩'을 RL 롤아웃 가속화를 위한 손실 없는 방법으로 제시한다.
• vLLM 백엔드를 사용하여 추측성 디코딩을 구현함으로써 동기식 및 비동기식 파이프라인 모두에서 적용 가능하다.
• 8B 모델의 동기식 환경에서 1.8배, 그리고 235B 규모의 비동기식 엔드투엔드 트레이닝에서 최대 2.5배의 가속 효과를 입증했다.