AI가 자신의 코드를 검토할 때: 코드 LLM에서의 재귀적 자기 학습 붕괴 (Recursive Self-Training Collapse)

요약

AI가 생성한 코드가 다시 학습 데이터로 사용되는 재귀적 자기 학습 과정에서 발생하는 모델 성능 저하(Collapse) 현상을 연구합니다. 리뷰 체계에 따른 붕괴 양상을 분석하며, AI 자체 리뷰보다는 외부 검증의 중요성을 강조합니다.

핵심 포인트

• 재귀적 자기 학습 시 외부 품질 관리 없는 데이터 재사용은 모델 성능을 저하시킴
• 리뷰가 없는 경우 모델 붕괴가 가장 빠르게 진행됨
• AI 자기 게이트 리뷰는 초기에는 효과적이나 결국 '거수투표' 체제로 퇴화함
• 안정적인 코드 LLM 학습을 위해서는 외생적 검증(Exogenous verification)이 필수적임