실행 가능한 수준에서 배포 가능한 수준으로: 요구사항으로부터 풀스택 웹 애플리케이션을 생성하기 위한 멀티 에이전트 테스트 주도 개발

코딩 에이전트 (Coding agents)는 자연어 설명을 통해 웹 애플리케이션을 생성할 수 있지만, 최근의 벤치마크 연구에 따르면 생성된 애플리케이션이 기능적 요구사항을 충족하지 못하는 경우가 70% 이상인 것으로 나타났습니다. 핵심적인 어려움은 웹의 정확성 (correctness)을 소스 파일이나 터미널 출력만으로는 평가할 수 없다는 점입니다. 애플리케이션은 반드시 배포되어야 하고, 시뮬레이션된 브라우저 상호작용을 통해 실행되어야 하며, 발생한 실패는 실행 가능한 수정 신호 (repair signals)로 변환되어야 합니다. 이는 현재의 에이전트들이 인간의 중재 없이는 수행할 수 없는 단계들입니다. 본 논문에서는 세 가지 단계를 통해 이 폐쇄 루프 (closed loop)를 자동화하는 프레임워크인 TDDev를 제시합니다: (1) 코드가 작성되기 전에 고수준 요구사항을 구조화된 수락 테스트 (acceptance tests)로 변환, (2) 애플리케이션을 배포하고 브라우저 기반 상호작용 시뮬레이션을 통해 검증, (3) 브라우저에서 관찰된 실패를 코딩 에이전트를 위한 구조화된 수정 보고서로 변환. TDDev를 활용하여, 우리는 웹 애플리케이션 생성을 위한 테스트 주도 개발 (Test-driven development, TDD) 전략에 대한 최초의 통제된 실증 연구를 수행하였으며, 두 개의 코딩 에이전트, 두 개의 백본 모델 (backbone models), 그리고 두 개의 벤치마크에 걸쳐 네 가지 개발 프로토콜을 비교했습니다. TDD 인프라는 TDD를 사용하지 않는 베이스라인 (baseline) 대비 생성 품질을 34~48 퍼센트 포인트 일관되게 향상시켰습니다. 핵심적인 발견은 최적의 프로토콜이 모델의 생성 스타일 (generation style)에 따라 달라진다는 것입니다. 애플리케이션을 총체적으로 구축하는 모델은 에이전트 기반 강제 (agentic enforcement)로부터 가장 큰 이득을 얻는 반면, 코드를 보수적으로 확장하는 모델은 점진적 강제 (incremental enforcement)로부터 이득을 얻습니다. 생성 스타일과 프로토콜이 일치하지 않으면 TDD의 이점은 완전히 사라지는 동시에 토큰 비용 (token cost)은 최대 25배까지 증가합니다. 사용자 연구를 통해 TDDev가 개발자의 수동 개입을 제로(zero)로 줄여, 작업 부하를 지속적인 프롬프트 엔지니어링 (prompt engineering)에서 자율적이고 피드백 중심적인 개선 과정으로 전환함을 확인했습니다.