PrismaDV: 태스크 의존적 데이터 유닛 테스트 자동 생성 시스템

현대 기업에서 데이터는 핵심 자원이며, 다운스트림 애플리케이션의 신뢰성을 보장하기 위해 데이터 검증(data validation)은 필수적입니다. 하지만 기존의 자동 데이터 단위 테스트 프레임워크들은 근본적으로 '태스크 비의존적(task-agnostic)'이라는 한계를 가집니다. 즉, 단순히 데이터셋을 검증할 뿐, 해당 데이터를 실제로 사용하는 코드의 의미론적 요구사항이나 사용 패턴을 고려하지 못합니다.

저희는 이러한 문제를 해결하기 위해 복합 AI 시스템인 PrismaDV를 제안합니다. PrismaDV는 다운스트림 태스크 코드를 분석하는 것과 데이터셋 프로파일링을 결합하여, 데이터 접근 패턴(data access patterns)을 식별하고 코드에 내재된 암묵적인 데이터 가정(implicit data assumptions)을 추론해냅니다. 이를 바탕으로 해당 태스크의 최종 영향까지 반영할 수 있는 실행 가능한 '태스크 의식적(task-aware)' 데이터 단위 테스트를 자동으로 생성합니다.

나아가, 시간이 지남에 따라 특정 데이터셋과 다운스트림 태스크에 맞게 데이터 단위 테스트가 적응하도록 만들기 위해 **SIFTA (Selective Informative Feedback for Task Adaptation)**라는 프롬프트 최적화 프레임워크를 도입했습니다. SIFTA는 데이터 단위 테스트 실행 결과나 다운스트림 태스크의 결과를 통해 얻을 수 있는 '희소한 정보(scarce outcomes)'에 초점을 맞춥니다. 이 정보를 활용하여 PrismaDV 시스템 자체의 프롬프트를 지속적으로 최적화하고 적응시킵니다.

실험 결과, 저희는 5개의 데이터셋과 걸쳐 총 60개의 태스크를 포함하는 두 가지 새로운 벤치마크에서 PrismaDV를 평가했습니다. 그 결과, PrismaDV는 데이터 오류가 최종 단계에 미치는 영향을 반영하는 단위 테스트 생성 측면에서 기존의 태스크 비의존적 방식은 물론이고, 다른 태스크 의식적 베이스라인보다 일관되게 우수한 성능을 보였습니다.

더 나아가 SIFTA를 적용했을 때, PrismaDV 모듈의 프롬프트를 자동으로 학습시키는 것이 수동으로 작성하거나 일반적인 프롬프트 최적화 도구로 생성한 결과물보다 더 뛰어난 성능을 나타냄을 입증했습니다. 저희는 이 벤치마크와 프로토타입 구현체를 공개할 예정입니다.