코드 생성을 위한 정책 및 보상 공동 진화: 단일 어댑터 드리프트에 대한 기계적 연구

요약

본 논문은 코드 생성에 대한 정책 및 보상 공동 진화 접근 방식(SPARK)을 연구했습니다. Qwen2.5-Coder-3B-Instruct를 사용하여 롤아웃 재활용과 실행 기반 최적화를 비교한 결과, 공동 진화가 훈련 성능 향상을 가져오지만, 이 이득이 일반화되지 않음을 보여주었습니다. 특히 '단일 어댑터 정책 드리프트' 현상이 관찰되었습니다.

핵심 포인트

• 공동 진화는 훈련 성능을 높이지만, 보류된 문제로의 일반화가 어렵다.
• 롤아웃 재활용은 실행 기반 최적화보다 더 큰 KL 발산을 유발한다.
• 높은 훈련 보상은 반드시 일반화 가능한 코드 자기 개선을 의미하지 않는다.
• 단일 어댑터 정책 드리프트는 공유 파라미터가 사전 학습 행동에서 벗어나는 현상이다.