GPT-OSS 모델의 에이전트 기반 강화학습(RL) 훈련 방법론 분석

요약

본 글은 오픈소스 거대 언어 모델(LLM)인 GPT-OSS를 에이전트 기반 강화학습(RL) 환경에 적용하는 실질적인 방법론을 제시합니다. 특히, 복잡한 다단계 작업 수행 능력을 갖춘 AI 시스템 구축을 목표로 하며, 인기 RL 프레임워크인 verl을 활용했습니다. 핵심 과제는 GPT-OSS의 MoE (Mixture of Experts) 아키텍처가 야기하는 on-policy PPO 훈련 중 발생하는 중요도 샘플링(Importance Sampling) 비율 불일치 문제를 해결하는 것이었습니다. 이 문제는 두 개의 순방향 패스(Dual-

핵심 포인트

• GPT-OSS는 복잡한 다단계 작업 수행이 필요한 에이전트 시스템의 백본 모델로 활용 가능하며, 이는 OpenAI o3-mini 및 o4-mini와 유사한 성능을 보입니다.
• on-policy PPO 훈련 시, GPT-OSS의 MoE 아키텍처 특성상 발생하는 순방향 패스 간 라우팅 불일치(Dual Forward Pass)가 중요도 샘플링 비율($ ext{Importance Ratio}$)를 1이 아닌 값으로 만들고 PPO 클리핑을 유발하는 근본적인 원인이었습니다.
• 이 문제를 해결하기 위해, on-policy 모드에서 $ ext{old log-probability}$ 값을 새로 계산된 $ ext{log_prob}$로 대체하여 중요도 비율을 수학적으로 1로 강제 설정함으로써 PPO의 안정성을 확보했습니다.
• 최종적으로는 단순한 GSM8K와 같은 단일 단계 작업에서도 불안정성(gradient explosion)이 지속되어, 모델 추론 시간과 학습 환경 간의 근본적인 불일치(Training-Inference Mismatch)가 핵심 원인으로 지목되었습니다.