RESTestBench: NL 요구사항에서 생성된 LLM 기반 REST API 테스트 케이스의 효과성을 평가하기 위한 벤치마크

기존 REST API 테스트 도구는 일반적으로 코드 커버리지와 충돌 기반 고장 지표 (crash-based fault metrics) 를 사용하여 평가됩니다. 그러나 최근 LLM 기반 접근법은 전통적인 지표가 생성된 테스트가 의도된 동작을 검증하는지에 대한 약한 대리인 (weak proxies) 이 될 수 있음을 보여주는 NL 요구사항에서 테스트를 생성하여 기능적 동작을 검증하는 경우가 늘어나고 있습니다. 이 격차를 해결하기 위해, 우리는 정밀하고 모호한 두 가지 변형 모두에 대해 수동으로 검증된 NL 요구사항과 쌍을 이루는 세 개의 REST 서비스를 포함하는 벤치마크인 RESTestBench 를 제시합니다. 이는 요구사항 기반 테스트 생성의 평가가 제어 가능하고 재현 가능하게 할 수 있도록 합니다. 또한 RESTestBench 는 Bartocci et al. 의 속성 기반 접근법을 확장하여, 특정 요구사항에 대한 생성된 테스트 케이스의 고장 탐지 효과성을 측정하는 요구사항 기반 변이 테스트 (requirements-based mutation testing) 지표를 도입합니다. RESTestBench 를 사용하여 우리는 여러 최첨단 LLM 에서 두 가지 접근법을 평가했습니다: (i) 비-refinement 기반 생성, 그리고 (ii) 실행 중인 SUT(시스템 하위 요소) 와의 상호작용에 의해 안내되는 refinement 기반 생성입니다. Refinement 실험에서 RESTestBench 는 실제 구현 (유효하거나 변이된) 에 노출됨이 테스트 효과성에 미치는 영향을 평가합니다. 우리의 결과는 생성기가 고장 나거나 변이된 코드와 상호작용할 때 테스트 효과성이 현저히 떨어지며, 특히 모호한 요구사항의 경우 refinement 의 이점을 상쇄하는 경우가 있음을 보여줍니다. 이는 요구사항 상세도가 높을 때는 실제 SUT 동작을 통합할 필요가 없음을 시사합니다.