GTDD: 적대적 테스트를 통한 AI 코딩 에이전트용 생성형 테스트 주도 개발

테스트 주도 개발(Test-driven development)은 AI 코딩 에이전트에게 소프트웨어 구현을 위한 실행 가능한 요구사항을 제공합니다. 이러한 에이전트는 관찰하는 예제에 맞춰 구현을 조정할 수 있기 때문에, 미리 정해진 테스트 모음 통과만으로는 의도된 동작의 상당 부분이 구현되지 않은 상태로 남겨질 수 있습니다. 우리는 생성형 테스트 주도 개발(Generative Test-Driven Development, GTDD)을 제안합니다. 이는 테스트 주도 개발의 한 형태로, 별도의 테스트 에이전트가 인간이 지정한 행동 계약과 이전 라운드의 피드백을 사용하여 각 후보 구현이 확정된 후 새로운 입력을 생성합니다. 신뢰할 수 있는 평가자(trusted evaluator)는 이러한 입력들을 확인하고, 코딩 에이전트에게 축소된 반례(reduced counterexamples)를 반환하며, 회귀 테스트를 위해 저장함으로써 개발 과정이 초기 예제를 넘어선 실패에 지속적으로 직면하게 합니다. 우리는 이 프로세스가 제공하는 증거를 적응형 후보 선택 하에서의 거짓 수용(false acceptance)에 대한 유한 모집단 분석을 통해 특성화합니다. 그 결과로 도출된 경계값은 테스트 가시성(test visibility)과 반복적인 피드백이 수용에 어떻게 영향을 미치는지 정량화하며, 후보 확정 후의 신선한 무작위 감사(fresh random audits)가 개발 라운드 전반에 걸쳐 거짓 수용을 제어함을 보여줍니다. 상태를 가진 키-값 저장소(stateful key-value store)에 대한 쌍별 실험에서, 개발 중에 테스트를 재생성하는 두 가지 정책 모두 테스트를 동일한 언어 모델이 한 번 생성한 정책보다 더 낮은 평균 실패율로 끝났으며, 테스터에게 후보의 소스 코드를 제공하는 것은 감지 가능한 추가적인 개선을 가져오지 않았습니다. 또한 테스트 수의 균등함을 요구하는 추가 조건들은 이러한 차이의 원인이 되는 정책의 단일 기능을 분리하지 못했습니다. GTDD는 이러한 적응형 개발 피드백을 기존의 회귀 테스트와 독립적인 수용 규칙과 결합합니다.