반례가 보완된 스케치에 대응하는 에이전트 기반 합성 (Agentic Synthesis against
요약
코딩 에이전트가 실패 사례를 통해 도메인 규칙을 학습하고 보존할 수 있도록 하는 '반례 보완 스케치 기반 에이전트 합성' 방법론을 제안합니다. 인간의 스케치와 에이전트의 구현, 그리고 반례를 통한 지속적인 수리 과정을 통해 정책을 진화시키는 저장소 네이티브 방식을 다룹니다.
핵심 포인트
- 실패 사례(반례)를 통해 도메인 규칙을 보존하는 에이전트 합성 방식 제안
- 인간의 스케치와 에이전트의 구현을 결합한 저장소 네이티브 워크플로우
- 진화된 스케치를 통해 프롬프트 이력에 의존하지 않는 정책 학습 가능성 입증
- CatSynth 실험을 통해 기존 방식 대비 재작업 감소 및 코드 유지 효율성 확인
코딩 에이전트(Coding agents)는 실패한 사례를 수정할 수는 있지만, 그 실패를 유발했던 도메인 규칙(domain rule)을 보존하지 못할 수 있으며, 이로 인해 이후 세대에서 동일한 그럴듯한 실수를 반복할 수 있습니다. 우리는 구현 과정에서 지배 정책(governing policy)이 발견되는 시스템을 위한 저장소 네이티브(repository-native) 방식인 '반례가 보완된 스케치에 대응하는 에이전트 기반 합성(agentic synthesis against counterexample-supplemented sketches)'을 제시합니다. 인간은 코드 형태의 부분적인 스케치(sketch)로 시작하며, 코딩 에이전트가 첫 번째 구현(implementation)을 생성합니다. 구체적인 실패가 누락되거나 잘못된 정책을 드러내면, 운영자(operator)는 수정된 동작과 규칙을 명시적으로 승인합니다. 그러면 에이전트는 해당 반례(counterexample)에 대해 스케치를 수정하고 코드 및 프롬프트 표면(prompt surfaces)을 수리하거나 재생성합니다. 전체 아카이브는 출처(provenance)를 보존하며, 선택된 회귀 세트(regression set)는 다음 후보가 공개되기 전에 각 수정 사항을 검증(gate)합니다. 또한 주기적인 클린 재생성(clean regeneration)을 통해 프롬프트 이력이나 누적된 사례가 아닌, 진화된 스케치(evolved sketch)가 학습된 정책을 보유하고 있는지 테스트합니다. 우리는 합성 브라우저 애플리케이션이자 캡처된 코딩 에이전트 실험인 CatSynth를 통해 이 방법을 입증합니다. GPT-5.4-mini를 사용한 하나의 오픈 월드 실행에서, 14개의 고정된 후보 사례 중 8개가 반례가 되었습니다. 리빌드(rebuild) 제어는 해당 승격(promotion) 일정을 상속받았으며, 세 가지 경로 모두 8개의 승인된 사례를 통과했습니다. 진화된 스케치로부터 리빌드했을 때는 보류된(withheld) 21개 사례 중 19개를 통과한 반면, 초기 스케치로부터 리빌드하고 모든 승인된 사례를 다시 재생(replaying)했을 때는 21개 중 15개를 통과했습니다. 반례 전반에 걸쳐 코드를 유지하는 데는 9번의 개발자 호출(Developer calls)과 719라인의 누적 아티팩트 변화(artifact churn)가 필요했던 반면, '전체 재생(replay-all)' 방식은 15번의 호출과 2,394라인이 필요했으며 보류된 21개 사례 중 18개를 통과했습니다. 이러한 결과는 진화된 스케치가 검토된 정책을 보유하고 있으며, 이번 실행에서 코드를 유지하는 것이 재작업을 줄였다는 검사 가능한 증거를 제공합니다. 다만, 하나의 모델과 하나의 공개 순서로 진행되었기에, 인코딩된 체크를 넘어선 일반적인 우월성이나 정확성을 확립하는 것은 아닙니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기