REST API를 위한 멀티 에이전트 기반 LLM 변형 테스트 (Multi-Agent LLM-based Metamorphic Testing)

REST API (Representational State Transfer Application Programming Interface)가 소프트웨어 시스템에서 점점 더 중요한 부분이 됨에 따라, 이에 대한 검증 또한 더욱 중요해지고 있습니다. 따라서 소프트웨어 품질을 향상시키기 위해서는 테스트를 수행하고 잠재적인 문제를 발견하는 것이 무엇보다 중요합니다. 그러나 REST API를 테스트하는 것은 API 호출의 출력이 올바른지 평가하는 것, 즉 테스트 오라클 문제 (test oracle problem)의 어려움 때문에 주로 까다로운 작업입니다. 변형 테스트 (Metamorphic testing)는 올바른 출력을 알 수 없거나 명시적으로 지정되지 않은 상황을 위한 명세 기반 테스트 (specification-based testing) 접근 방식입니다. 시스템의 정확성을 확인하기 위해, 서로 다른 출력들 사이의 관계를 지정합니다. 본 논문에서는 OpenAPI로 문서화된 REST API의 변형 테스트를 지원하기 위해 LLM (Large Language Model) 기반의 멀티 에이전트 워크플로우 (multi-agent workflow)를 사용하는 도구 지원 방식인 ARMeta를 제시합니다. 이 에이전트 워크플로우 (agentic workflow)는 변형 테스트 시나리오를 식별하고 이를 Given-When-Then 형식으로 지정하는 데 사용됩니다. 이러한 시나리오들은 실행 가능한 테스트로 자동 구현되어 테스트 대상 시스템 (system under test)에 대해 실행됩니다. 우리는 REST 인터페이스를 노출하는 두 개의 공개 웹 애플리케이션에서 ARMeta를 평가하고, 그 성능을 시나리오 기반 테스트 (scenario-based testing) 베이스라인과 비교합니다. 결과에 따르면 ARMeta는 기존의 시나리오 기반 테스트 접근 방식을 보완하는 역할을 하는 동작들을 탐색함을 보여줍니다.