AuditCoder: 감사 가능한 코드 생성 및 제한적 수정을 위한 책임 보존형 작업 그래프
요약
AuditCoder는 코드 생성 시 프로그램과 함께 감사 가능한 생성 추적을 출력하여 생성 결정과 수정 이력을 보존하는 프레임워크를 제안합니다. 작업 그래프를 통해 책임 식별자를 할당하고, 검증 실패 시 특정 영역만 국소적으로 수정할 수 있는 기능을 제공합니다.
핵심 포인트
- 코드 생성 과정의 결정과 수정 이력을 보존하는 책임 보존형 작업 그래프 제안
- 검증 실패 시 특정 노드나 의존성 브랜치에 증거를 매핑하는 로케이터 기능
- 기존 코드를 재사용하며 오류 영역만 재생성하는 제한적 수정(bounded repair) 지원
- APPS 및 ClassEval 데이터셋에서 높은 pass@1 성능과 높은 추적 커버리지 입증
코드 생성기(Code generators)는 프로그램을 반환하지만, 일반적으로 실패를 해당 코드를 생성한 결정과 연결하거나 정당한 수정을 제한하는 데 필요한 생성 기록(construction record)을 보존하지 않습니다. 우리는 프로그램과 감사 가능한 생성 추적(auditable construction trace)을 공동 출력물로 취급하는 AuditCoder를 제안합니다. 코드 생성 전에, 계약이 주석 처리된 작업 그래프(contract-annotated task graph)는 각 약속(commitment), 소유 구현(owned implementation), 출처(provenance), 검증 증거(validation evidence) 및 개입 이력(intervention history)에 부착되어 유지되는 안정적인 책임 식별자(responsibility identities)를 할당합니다. 검증이 실패할 경우, 보수적인 로케이터(locator)는 이질적인 증거를 노드 또는 의존성 브랜치(dependency branch)에 매핑하거나—또는 생략하며—제한적 수정(bounded repair)은 동결된 보완 부분(frozen complement)을 재사용하면서 해당 영역만을 재생성합니다. APPS 데이터셋에서 ext{AuditCoder}는 $82.5$--$83.0%$의 exttt{pass@1}에 도달하여, 수정되지 않은 그래프 분해(graph decomposition)로 인해 발생한 손실의 상당 부분을 회복했으나 AgentCoder보다는 $7.5$--$8.5$포인트 뒤처졌습니다. ClassEval에서는 $75.0$--$82.0%$에 도달하여 CoT + retry 방식보다 뛰어난 성능을 보였으나 AgentCoder보다는 낮은 수준을 유지했습니다. 200개의 APPS 기록에 대한 별도의 감사를 실시한 결과, $0.9725$의 태스크-매크로 결정-코드 추적 커버리지(task-macro decision--code trace coverage)를 얻었습니다. 로케이터는 60개의 실패 중 26개에 대해 증거가 뒷받침되는 노드 또는 브랜치를 식별했으며, 해당 국소 수정(localized repairs) 중 17개가 통과되었습니다. 안정적이고 국소적으로 테스트 가능한 경계를 가진 작업의 경우, 이 그래프는 분해 구조(decomposition structure)로서뿐만 아니라 검증 및 수정을 위한 지속적인 인덱스(persistent index)로서도 기능합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기