Sakura: 자연어 테스트 설명으로부터 복잡한 테스트를 생성하는 접근 방식

테스트(Testing)는 소프트웨어 개발 워크플로의 핵심 활동이며, 이를 자동화하기 위한 연구는 수십 년 동안 이어져 왔습니다. 기존의 대부분의 접근 방식은 개별 메서드(Method)에 대한 단위 테스트(Unit Test)를 생성하거나, 고립된 API 엔드포인트(Endpoint)를 검증하거나, 사용자 인터페이스(UI) 계층을 대상으로 하며, API 및 UI가 아닌 자동화된 테스트 생성기는 일반적으로 단일 초점 메서드(Focal Method)만을 실행합니다. 최근의 실증적 증거에 따르면, 이러한 생성된 테스트와 개발자가 직접 작성한 테스트 사이에는 상당한 격차가 존재함을 보여줍니다. 개발자가 작성한 테스트는 종종 여러 초점 메서드에 걸쳐 있으며, 복잡한 호출 시퀀스(Call Sequence)를 포함하고, 현재의 자동화된 접근 방식으로는 포착하지 못하는 정교한 단언(Assertion)을 포함합니다. 이러한 격차를 해소하기 위해, 우리는 개발자의 의도가 담긴 자연어(Natural Language, NL) 설명으로부터 테스트를 생성하는 방식을 제안합니다. 우리는 자연어 설명으로부터 구조적으로 복잡한 테스트 케이스를 생성하는 최초의 에이전트 기반 프레임워크인 Sakura를 제시합니다. Sakura는 자연어 설명을 구조화된 블록으로 분해하고, 정적 분석(Static Analysis)을 통해 테스트 단계를 구체적인 애플리케이션 코드에 연결하는 로컬라이제이션 에이전트(Localization Agent), 컴파일 가능한 테스트 코드를 합성하고 실행 피드백을 사용하여 반복적으로 개선하는 컴포지션 에이전트(Composition Agent), 그리고 에이전트 간의 상호작용을 조정하는 슈퍼바이저 에이전트(Supervisor Agent)로 구성된 멀티 에이전트 시스템(Multi-agent System)을 사용하여 이를 처리합니다. Sakura를 평가하기 위해, 우리는 Apache Commons 프로젝트에서 마이닝(Mining)한 개발자 작성 테스트로부터 체계적으로 생성된 세 가지 추상화 수준의 자연어 테스트 설명 데이터셋을 새롭게 구축했습니다. 20개의 애플리케이션과 1,464개의 테스트 시나리오에 걸쳐, Sakura는 Gemini CLI와 같은 기존의 에이전트 도구(Agentic Tools)보다 성능이 현저히 뛰어납니다. 구체적으로, Sakura는 동일한 모델을 사용하는 베이스라인(Baseline)과 비교했을 때 테스트 컴파일 가능성(Compilability)은 50-78% 더 높고, 정답(Ground-truth) 테스트와의 커버리지 중첩(Coverage Overlap)은 38-66% 더 높습니다. 또한, Sakura를 Devstral Small 2 및 Qwen3-Coder와 같은 소규모 오픈 소스 모델과 결합했을 때, 대규모 독점 모델을 사용하는 Gemini CLI보다 뛰어난 성능을 보이면서도 비용 효율성 또한 더 높습니다.