다회차 LLM 프로그래밍 대화에서의 회귀 누적 (Regression Accumulation)

요약

다회차 LLM 프로그래밍 대화에서 발생하는 '회귀 누적(Regression Accumulation)' 현상을 연구한 논문입니다. 새로운 코드 제안이 이전 요구사항을 깨뜨리는 문제를 분석하고, 이를 해결하기 위한 검증 게이트(Verification Gate) 전략의 효과를 입증했습니다.

핵심 포인트

• 다회차 대화 시 모델의 40~73%가 이전의 올바른 동작을 상실함
• 이전 요구사항과 충돌하는 '교차 회차 충돌'이 주요 실패 원인임
• 검증 게이트(Verification Gate) 도입 시 모델 성능이 유의미하게 개선됨
• 단일 회차 성능만으로 다회차 코딩 신뢰성을 판단해서는 안 됨