LLM 자기수정이 언제 도움이 되는가? 제어 이론적 마르코프 진단 및 Verify-First 개입

반복적인 자기수정 (Iterative self-correction) 은 에이전트 기반 LLM 시스템에 널리 사용되지만, 반복적인 정제 (refinement) 가 도움이 되는지 해로운지는 여전히 명확하지 않습니다. 우리는 자기수정을 동일한 언어 모델이 컨트롤러 (controller) 와 플랜트 (plant) 역할을 모두 수행하는 사이버네틱 피드백 루프 (cybernetic feedback loop) 로 설정하고, {Correct, Incorrect} 를 상태 공간으로 하는 두 상태 마르코프 모델을 사용하여 간단한 배포 진단을 구현합니다. 이 관점에서 ECR/EIR > Acc/(1 - Acc) 일 때만 반복 수행하는 것이 좋습니다. 여기서 EIR 는 안정성 마진 (stability margin) 으로 기능하며, 프롬프팅은 경량 컨트롤러 설계 (lightweight controller design) 로 작용합니다.

7 개의 모델과 3 개 데이터셋 (GSM8K, MATH, StrategyQA) 에 대한 분석 결과, 유익한 자기수정과 해로운 자기수정을 구분하는 날카로운 근소 영 EIR 임계값 (<= 0.5%) 이 존재함을 발견했습니다. 오직 o3-mini (+3.4 pp, EIR = 0%), Claude Opus 4.6 (+0.6 pp, EIR ~ 0.2%), 그리고 o4-mini (+/-0 pp) 만 성능 저하가 없었으며, GPT-5 는 -1.8 pp 의 성능 저하를 보였습니다. Verify-first 프롬프팅에 대한 애블레이션 (ablation) 은 이 임계값이 프롬프팅만으로 실행 가능함을 인과적 증거로 제시합니다: GPT-4o-mini 에서는 EIR 를 2% 에서 0% 로 낮추고 -6.2 pp 의 성능 저하를 +0.2 pp 로 전환시켰으며 (paired McNemar p < 10^-4), 이미 임계값 이하인 모델에는 큰 변화를 주지 않았습니다. ASC 는 정지 트레이드오프 (stopping trade-off) 를 추가로 설명합니다: 해로운 정제를 중단시키지만, 3.8 pp 의 신뢰도 유도 비용 (confidence-elicitation cost) 이 발생합니다. 전반적으로 이 논문은 자기수정을 기본 동작으로 취급하는 것이 아니라, 측정 가능한 오차 동역학에 의해 지배되는 제어 결정 (control decision) 으로 취급해야 한다고 주장합니다.