Proof-or-Stop: 에이전트를 믿지 말고 증거를 믿으라 -- 검증 가능한 증거 기반 게이트형 라이프사이클 제어를 위한 루프 엔지니어링
요약
자율 코딩 에이전트의 작업 상태를 단순한 주장이 아닌 기계적으로 검증 가능한 증거를 기반으로 제어하는 'Proof-or-Stop' 프레임워크를 제안합니다. 이 방식은 에이전트의 출력을 신뢰 모델에 따른 증거와 결합하여 라이프사이클 전환을 강제함으로써 오류를 획기적으로 줄입니다.
핵심 포인트
- 에이전트의 상태 전환을 단순 주장이 아닌 검증 가능한 증거(Proof) 기반으로 제어
- 무인 루프 엔진 테스트 결과 10개 시나리오 모두 통과 및 잘못된 '완료' 사례 0건 달성
- 게이트 루프 도입 시 숨겨진 실패(hidden-fail) 발생률을 대폭 감소시킴
- 모델에 의존하지 않는(model-agnostic) 호스트 중립적 제어 계층 제공
자율 코딩 에이전트 (Autonomous coding agents)가 다단계 소프트웨어 작업을 수행하는 경우가 점점 늘어나고 있지만, 검토됨 (reviewed), 테스트됨 (tested), 완료됨 (DONE), 병합 준비됨 (ready-to-merge)과 같은 라이프사이클 상태는 현재의 증거에 의해 뒷받침되지 않는 한 단순한 주장 (claims)으로 남습니다. 우리는 신선하고, 추적 가능한 소스 상태에 결합되며, 기계적으로 검증 가능한 증거가 관련 게이트 (gate)를 충족할 때만 라이프사이클 전환을 허용하는 방법인 Proof-or-Stop 라이프사이클 제어 (Lifecycle Control)를 제시합니다. 이 방법은 에이전트의 출력을 라이프사이클 상태가 아닌 주장 (claims)으로 취급하며, 여기서 증거 (proof)는 의미론적 프로그램의 정확성이 아니라 명시된 신뢰 모델 (trust model) 하에서 게이트 허용 가능한 증거를 운영적으로 의미합니다. 우리는 메커니즘 테스트, 전력 제어 정책 어블레이션 (powered control-policy ablation), 그리고 운영된 자기 적용 증거 (operated self-application evidence)를 통해 오픈 소스 구현을 평가합니다. 무인 루프 엔진 (unattended-loop engine)은 10개의 시나리오 중 10개를 통과하며 잘못된 '완료(DONE)' 사례가 0건이었으며, 로컬 키 영수증 번들 (local-key receipt bundles)은 18가지 변조 클래스를 거부하면서 잘못된 수락 사례가 0건이었습니다. 9,240개 셀 어블레이션 (ablation)에서, 사전 등록된 A4와 A2-prime의 비교 결과, 컴퓨팅 예산이 할당된 단순 루프 (naive loop) 하에서 주입된 1,800개 셀 중 31개였던 가시적 통과/숨겨진 실패 (visible-pass/hidden-fail) 증폭이 게이트 루프 (gated loop) 하에서는 1,800개 중 2개로 감소했습니다. 이는 [0.8, 2.5]의 95% 신뢰 구간에서 증폭되지 않은 비율이 1.6 퍼센트 포인트 개선된 것입니다. 컴퓨팅 비용이 유사한 A3와 A4의 비교(1,800개 중 14개 대 1,800개 중 2개)는 이러한 이득이 단순히 검토자를 추가하는 것이 아니라 검토를 라이프사이클 게이트로 강제하는 것과 관련이 있음을 나타냅니다. 자기 적용 코퍼스 (self-application corpus)에는 565개의 스토리와 1,007개의 검토 결과가 포함되어 있으며, 94.8%가 해결되었고, 68행의 고위험/심각 (high/critical) 교차 벤더 전시물이 포함되어 있습니다. 이러한 결과는 Proof-or-Stop이 어떤 자율 에이전트의 주장에 대해 라이프사이클이 작동할지를 결정하기 위한 모델 불가지론적 (model-agnostic)이고 호스트 중립적인 (host-neutral) 제어 계층임을 뒷받침합니다. 평가는 하나의 모델 제품군, 24개의 어블레이션 작업, 그리고 셀프 호스팅된 코퍼스로 제한됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기