프로세스 이점 신호 형성 (Process Advantage Signal Shaping): LLM 추론기를 위한 프로세스 감독 강화학습

요약

LLM 추론 성능 향상을 위해 GRPO 기반 강화학습에서 발생하는 세 가지 구조적 병리 현상을 해결하는 PASS(Process Advantage Signal Shaping) 방법론을 제안합니다. PASS는 이점 융합, 청크 기반 가치 할당, 길이 분할 기술을 통해 프로세스 감독 신호를 효과적으로 정제합니다.

핵심 포인트

• GRPO 학습 시 발생하는 채널 오염, 해상도 불일치, 누적 함정 문제 해결
• PASS는 프로세스 신호와 GRPO 목적 함수 사이의 미들웨어 역할 수행
• 수학적 추론 및 다단계 QA 도메인에서 pass@1 성능 향상 검증
• 독립적 표준화와 가치 균질적 청크 도출을 통한 신용 할당 최적화