MASTOR: RESTful API를 위한 시맨틱 테스트 오라클 생성을 위한 멀티 에이전트 접근 방식

기존의 자동화된 RESTful API 테스트 접근 방식은 일반적으로 단순한 검사(예: HTTP 상태 코드, 스키마 준수 여부)에 의존하며, 이는 시맨틱 결함(semantic faults), 비즈니스 로직 위반 및 상태 의존적 불일치를 탐지하기에는 불충분합니다. 이를 해결하기 위해, 우리는 구현 소스 코드에 기반하여 RESTful API를 위한 시맨틱 테스트 오라클(Semantic Test Oracles)을 생성하는 멀티 에이전트(Multi-Agent) 접근 방식인 MASTOR를 제안합니다. MASTOR는 소스 분석(source analysis)과 오라클 생성(oracle generation)의 두 단계로 구성됩니다. 전자는 관련 소스 파일의 이행적 임포트 폐쇄(transitive import closure)를 분석하여 각 엔드포인트 작업(endpoint operation)에 대한 소스 컨텍스트(source context)를 구축하는 소스 추출 에이전트(source extraction agent)를 활용합니다. 후자는 수집된 컨텍스트를 바탕으로 두 개의 병렬 오라클 생성 경로를 사용합니다: 작업당 상태 및 필드 오라클을 생성하는 단일 작업(single-operation) 경로와, 작업 간 시맨틱 연관성(cross-operation semantic associations)을 활용하여 작업 시퀀스에 대한 행동 일관성(behavioral consistency) 오라클을 생성하는 다중 작업(multi-operation) 경로입니다. 두 경로 모두 챌린저 에이전트 리뷰(challenger-agent review)를 적용하며, 여기서 전담 리뷰어가 약점을 식별하고 타겟팅된 재생성을 유도하기 위한 개선 힌트를 제공한 후, 구조적으로 유효하지 않은 오라클을 걸러내기 위한 오라클 정규화(oracle normalization)가 이어집니다. 우리는 WFD 및 PRAB 데이터셋에서 추출한 13개의 오픈 소스 RESTful API 프로젝트(296개 작업, 251,303 라인의 코드) 벤치마크를 통해 MASTOR를 평가했습니다. MASTOR는 10,022개의 오라클을 생성하며 평균 75.4%의 변이 점수(mutation score)를 달성했습니다. 이 오라클들은 ToJUnit 및 ToPostmanAssertify를 통해 실행 가능한 어설션(assertions)으로, ToReadable을 통해 사람이 읽을 수 있는 설명으로 변환되었습니다. 선정된 50개 작업에 대한 베이스라인 비교에서, MASTOR는 Direct Prompting보다 30.1%포인트(69.9% 대 39.8%), SATORI보다 49.4%포인트(69.9% 대 20.5%) 더 높은 성능을 보였습니다.