AI가 자신의 코드를 검토할 때: 코드 LLM에서의 재귀적 자기 학습 붕괴 (Recursive Self-Training Collapse)

재귀적 자기 학습 (Recursive self-training)은 생성된 데이터가 새로운 인간 데이터나 외부 품질 관리 없이 재사용될 때 신경 생성 모델 (neural generative models)을 저하시킬 수 있습니다. 우리는 AI가 생성한 코드가 실제 저장소 (repositories)에 유입되어 나중에 학습 데이터가 되고, 저장소 규모의 자기 학습 루프를 생성할 수 있는 코드 LLM (Code LLMs)에서의 이러한 위험을 연구합니다. 전통적인 소프트웨어 개발은 풀 리퀘스트 (pull-request) 리뷰, 테스트, 컴파일 및 인간의 승인을 통해 이 루프를 차단하지만, 현재 AI 코딩 도구는 인간이 리뷰할 수 있는 속도보다 더 빠르게 코드를 생성하며, 코드 리뷰 자체도 점점 더 AI 시스템에 의해 자동화되고 있습니다. 따라서 우리는 세 가지 재귀적 미세 조정 (fine-tuning) 체계를 비교합니다: 리뷰 없음 (no review), 컴파일 및 정적 품질 검사와 같이 모델과 독립적인 필터를 사용하는 인간 게이트 리뷰 (Human-gate review), 그리고 퍼플렉시티 (perplexity) 및 이진 자기 점수 매기기 (binary self-scoring)와 같은 코드 LLM 자체의 신호를 사용하는 AI 자기 게이트 리뷰 (AI-self-gate review)입니다. 여러 코드 LLM과 벤치마크에 걸쳐, 리뷰가 없는 경우 가장 빠르게 붕괴하며, 인간 게이트 필터는 붕괴를 늦추지만 멈추지는 못하고, AI 자기 게이트 필터는 초기에는 강력해 보일 수 있으나 나중에는 필터링 효과를 상실합니다. 가장 명확한 사례로, 이진 자기 게이트 (binary self-gate)는 벤치마크 정확도는 떨어지는 반면 수락 점수는 상승하는 '거수투표 (rubber-stamp)' 체제로 진입합니다. 우리는 리뷰를 게이트형 분포 재가중 (gated distributional reweighting)으로 공식화하여 이러한 동작을 설명하며, AI 자기 게이팅 (AI self-gating)이 자기 확증적 수락 조건 (self-confirming acceptance condition) 하에서 게이트가 없는 자기 학습으로 퇴화함을 증명하고, 재귀적 재학습 하에서의 표현 수준 공분산 집중 (representation-level covariance concentration)에 대한 스펙트럼 분석을 제공합니다. 이러한 결과는 안정적인 재귀적 코드 LLM 학습을 위해서는 모델과 결합된 자기 리뷰보다는 외생적 검증 (exogenous verification)이 필요함을 시사합니다.