파운데이션 모델 (Foundation models, FMs)은 그럴듯한 단위 테스트 (unit tests)를 생성할 수 있지만, 해당 테스트가 정확하고 유용하며 유지보수가 가능하고 통합할 가치가 있는지 판단하는 것은 여전히 어렵습니다. 생성된 테스트는 대상 코드로 매핑되어야 하고, 실제 프로젝트에 삽입되어 빌드 및 실행되어야 하며, 베이스라인 스위트 (baseline suite)와 비교 측정되어야 하고, 필요시 수정되어야 하며, 모델 및 생성 전략 간에 비교되어야 합니다. 이러한 검증 프로세스는 빌드 시스템 (build systems), 테스트 러너 (test runners), 커버리지 도구 (coverage tools), 뮤테이션 도구 (mutation tools), 정적 분석기 (static analyzers) 및 실험 스크립트 (experiment scripts) 전반에 걸쳐 파편화되어 있습니다. 생성된 테스트는 코드 산출물 (code artifacts)인 동시에 검증 산출물 (validation artifacts)이기 때문에 이 문제는 특히 중요합니다. 즉, 테스트가 테스트 대상 시스템 (system under test)에 대한 증거로서 신뢰받기 위해서는 테스트 자체도 먼저 검증되어야 합니다.

본 논문은 C#/.NET 저장소 (repositories)를 위해 증거 기반의 파운데이션 모델 지원 테스트 생성을 자동화하는 오픈 소스 인프라 프로토타입인 TestMap을 제시합니다. TestMap은 저장소 분석, 소스-테스트 매핑, 베이스라인 실행, 코드 메트릭 (code metric) 수집, 테스트 스멜 (test smell) 탐지, 커버리지 측정, 뮤테이션 테스팅 (mutation testing), 모델 가이드 테스트 생성, 검증, 수정 및 저장소별 실험 추적을 지원합니다. TestMap은 단순히 최종적으로 통과한 테스트만을 보고하는 대신, 실패, 수정됨, 낮은 영향력, 증거 긍정 결과 등을 포함하여 생성된 각 후보의 라이프사이클을 기록합니다. 이러한 중간 결과들은 모델의 한계, 누락된 컨텍스트, 수정 비용, 툴체인 (toolchain)의 비효율성 또는 테스트 대상 시스템의 잠재적 결함을 드러낼 수 있습니다.

TestMap을 설계 사례로 사용하여, 우리는 생성된 테스트를 저장소, 모델, 프롬프트 (prompts) 및 생성 전략 전반에서 관찰 가능하고, 반복 가능하며, 비교 가능하게 만드는 데 필요한 아키텍처와 증거 모델을 설명합니다. 마지막으로 오라클 (oracle) 및 어설션 (assertion) 품질, 메트릭 귀속 (metric attribution), 테스트 유지보수성, 플래키니스 (flakiness), 실행 비용 및 개발자 수용성을 포함한 학습된 교훈과 향후 과제를 제시하며 결론을 맺습니다.