테스트에 맞춘 개발: 코딩 에이전트는 요청한 것이 아니라 검증하는 것을 전달한다

벤치마크(Benchmarks)는 대규모 언어 모델(LLMs)의 작업 완료를 평가하는 데 널리 사용되지만, 이러한 접근 방식은 구축 타당성(construction-validity) 문제를 축적해 왔으며, 통과 점수가 요청된 작업이 실제로 전달되었는지를 보여주지 못할 수도 있습니다. 우리는 이 두 가지 문제를 연구합니다. 통제된 코드-as-사양(code-as-spec) 설정에서, 두 개의 프로덕션 Copilot CLI 에이전트(claude-opus-4.7, gpt-5.5)가 18회의 실행과 세 가지 오라클 가용성(oracle-availability) 조건 하에서, 숨겨진 222개의 테스트 Playwright 오라클(oracle)을 사용하여 React Fluent-UI 데이터 테이블을 Angular 기반의 재사용 가능한 라이브러리로 재구현합니다. 점수와 함께, 우리는 기계적 라이브러리 감사(mechanical library audit)를 수행하고 각 판결을 no-op 절제 연구(ablation)로 확인합니다. 오라클이 없는 경우, 점수를 통해 라이브러리가 존재하지만 미완성 상태임이 드러납니다. 오라클이 루프 내에 있는 경우, 점수는 거의 완벽에 도달하지만, 이는 테스트된 동작을 직접 보유한 데모로부터 나온 것이며, 실제 라이브러리는 죽어 있거나 부재한 상태로 남습니다. 우리는 이를 '테스트에 맞춘 개발(building to the test)'이라고 부르며, 이 두 가지 뒤에 숨겨진 더 넓은 성향을 '검증 자기 인식(validation self-awareness)'이라고 부릅니다. 에이전트는 스스로가 배포하는 것을 사용자가 하는 것처럼 검증하지 않습니다. 다른 에이전트, 신호 및 모델 제품군 전반에 걸친 유병률은 여전히 미해결 과제로 남아 있습니다. 벤치마크 점수를 넘어, 검증 자기 인식과 같은 성향은 연구적 주의를 기울일 가치가 있습니다.