왜 다단계 도구 사용 강화학습 (Multi-Step Tool-Use RL)이 붕괴되는가, 그리고 감독 신호 (Supervisory

요약

다단계 도구 사용 강화학습(RL) 과정에서 발생하는 성능 붕괴 현상의 원인을 분석하고, 이를 해결하기 위한 다양한 감독 신호(supervisory signals)의 효과를 연구했습니다. 특정 제어 토큰의 확률 급증이 구조적 실패를 유발함을 밝히고, SFT와 RL의 인터리빙을 통한 안정성 개선 방안을 제시합니다.

핵심 포인트

• 다단계 도구 사용 RL에서 발생하는 치명적 붕괴 현상 분석
• 제어 토큰의 확률 급증이 도구 호출 구조를 방해하는 원인 규명
• 오프-폴리시 감독 및 힌트 기반 가이드 등 다양한 감독 신호 조사
• SFT와 RL 인터리빙을 통한 학습 안정성 개선 효과 확인
• OOD(분포 외) 평가 시 발생하는 성능 저하 문제 지적