자동화된 웹 GUI 테스트 이해: 탐색 전략 및 상태 추상화에 관한 실증적 연구

자동화된 웹 GUI 테스트 (Automated web GUI testing, AWGT)는 코드 커버리지 (code coverage)를 극대화하기 위해 GUI 동작을 통해 웹 애플리케이션을 실행하는 탐색 전략 (exploration strategies)에 의존하며, 이는 전통적인 모델 기반 (model-based), 강화학습 (reinforcement learning, RL) 기반, 그리고 새롭게 등장하는 대규모 언어 모델 (large language model, LLM) 기반 접근 방식에 걸쳐 있습니다. 반복적인 테스트를 피하기 위해 동일한 기능을 가진 페이지를 감지하는 상태 추상화 (State abstraction)는 탐색을 유도하는 데 있어 오랫동안 중요한 요소로 인식되어 왔습니다. 그러나 탐색 전략과 상태 추상화가 테스트 효과성에 공동으로 어떻게 영향을 미치는지에 대해서는 아직 충분히 연구되지 않았습니다. 본 연구에서는 코드 커버리지와 결함 노출 (failure revelation)의 관점에서 두 요소를 분석하는 실증적 연구를 제시합니다. 우리는 대표적인 모델 기반, RL 기반, 그리고 LLM 기반 접근 방식을 비교합니다. 또한 6가지 상태 추상화가 모델 기반 및 RL 기반 접근 방식에 어떻게 영향을 미치는지 조사하고, 상태 추상화의 한 형태로서 작용하는 다양한 이력 표현 (history representations) 하에서의 LLM 기반 접근 방식을 검토하며, 서로 다른 접근 방식에 의해 노출된 결함들을 비교합니다. 연구 결과, 모든 차원에서 뛰어난 단일 전략은 존재하지 않으며, 대신 각 범주가 코드 커버리지, 상태 커버리지 (state coverage), 그리고 결함 발견 (failure discovery) 측면에서 상호 보완적인 강점을 보임을 확인했습니다. 상태 추상화는 핵심적인 요소입니다. 엄격하고 세밀한 (fine-grained) 추상화는 모델 기반 전략에 유리한 반면, 압축된 (compact) 추상화는 RL 기반 전략을 더 잘 지원합니다. 이력 표현은 LLM 기반 전략에 상당한 영향을 미치며, 간결한 기능 수준의 컨텍스트 (functionality-level context)가 가장 우수한 성능을 보입니다. 또한 우리는 코드 커버리지가 결함 노출 능력과 약한 상관관계를 가진다는 것을 발견하였으며, 이는 다차원적 평가의 필요성을 강조합니다. 이러한 발견은 AWGT를 위한 탐색 전략 선택 및 효과적인 상태 추상화 설계를 위한 실질적인 지침을 제공합니다.