강화학습 (Reinforcement Learning)은 사후 학습 교정 단계를 넘어섰습니다. 이제 연구자들은 언어 모델 (Language Model)이 정책 (Policy)과 세계 모델 (World Model) 역할을 모두 수행하는 에이전트 루프 (Agentic loops), 추론 파이프라인 (Reasoning pipelines), 그리고 반복적 정교화 시스템 (Iterative refinement systems)에 온라인 RL을 직접 통합하고 있습니다. 그 결과 긴밀한 피드백 루프가 형성됩니다. 즉, LLM이 궤적 (Trajectory)을 생성하면, 보상 모델 (Reward model)이 출력을 점수화하고, 정책 (Policy)이 업데이트되는 방식입니다. 병목 현상은 최적화 수학 문제인 경우가 드뭅니다. 진짜 문제는 가변적이고 종종 매우 거대한 컨텍스트 길이 (Context lengths)를 가진 수천 개의 롤아웃 (Rollout) 요청을 처리해야 하는 추론 계층 (Inference layer)입니다.

RL-LLM 추론 루프 (The RL-LLM Inference Loop)

현대의 RL 강화형 LLM 시스템은 일반적으로 반복적인 '생성 후 점수 산정 (Generate-then-score)' 패턴을 따릅니다. 각 학습 단계 동안, 정책 모델 (Policy model)은 일련의 완성된 문장 (Completions) 배치를 생성합니다. 이 완성된 문장들은 학습된 모델, 하드코딩된 규칙 엔진, 또는 더 큰 판사 모델 (Judge model)의 호출일 수 있는 보상 함수 (Reward function)에 의해 평가됩니다. 그래디언트 (Gradients)는 정책을 통해 역전파되지만, 순전파 (Forward pass)는 전적으로 저지연 (Low-latency) 및 고처리량 (High-throughput) 추론에 의존합니다. 어떠한 마찰이라도...