WebCQ: 확장 가능한 웹 GUI 테스트를 위한 협력적 다중 에이전트 심층 강화학습 (Deep Reinforcement Learning)

다중 에이전트 강화학습 (Multi-agent reinforcement learning, MARL) 기반 기술은 GUI 테스트 분야에서 유망한 가능성을 보여주었습니다. 그러나 현대 GUI 소프트웨어의 복잡성이 증가함에 따라, 기존의 MARL 기반 접근 방식(예: MARG 및 Fastbot)은 기반이 되는 테이블 기반 강화학습 (tabular reinforcement learning) 알고리즘의 내재적 한계로 인해 확장성(scale)을 확보하는 데 어려움을 겪고 있습니다. 이는 대규모 상용 GUI 소프트웨어, 특히 방대한 상태 공간(state spaces)과 수많은 상호작용 요소를 가진 웹 애플리케이션에 대한 적용을 제한합니다. 이러한 격차를 해소하기 위해, 우리는 확장 가능한 웹 GUI 테스트를 위한 새로운 MARL 기반 접근 방식인 WebCQ를 제안합니다. WebCQ는 다중 에이전트 조율을 위해 QTRAN을 통합하고 경량화된 동기화 메커니즘을 포함하여, 비동기적 (asynchronous) 웹 테스트 시나리오에서도 작동할 수 있도록 합니다. WebCQ는 각 UI 이벤트에 대해 의미론적 (semantic) 특징과 탐색 (exploration) 특징을 추출하여 액션 벡터 (action vector)를 형성합니다. 이 벡터는 현재 상태 벡터 (state vector)와 결합되어 정책 네트워크 (policy network)에 입력되며, 이를 통해 동적인 액션 공간 (action space) 내에서 DQN 기반의 의사결정을 가능하게 합니다. 우리는 8개의 대규모 상용 웹사이트를 대상으로 WebCQ를 평가했습니다. 동일한 시간 예산과 에이전트 수 조건에서, WebCQ는 MARG보다 33.3% 더 많은 상태를 탐색하고 42.2% 더 많은 고유 액션을 실행했으며, 테스트 대상 8개 웹사이트 중 6개에서 더 많은 결함을 발견했습니다. 또한 WebCQ는 20시간 동안의 실험 동안 더 높은 액션 처리량 (action throughput)을 유지하고, 에이전트 수가 증가함에 따라 더 큰 성능 향상을 달성함으로써 강력한 확장성을 입증했습니다. 이러한 결과는 WebCQ가 기존 MARL 기반 접근 방식의 주요 한계를 극복하고, 현대적인 웹 GUI 테스트를 강화하기 위한 확장 가능하고 효과적인 솔루션을 제공함을 보여줍니다.