RESTberus: 마이크로서비스 종속성을 아우르는 자동화된 REST API 테스트 도구의 추적 인식 벤치마킹

기존의 REST API 테스트 벤치마크는 격리된 서비스(isolated services)에 초점을 맞추어, 다운스트림 종속성(downstream dependencies)과의 상호작용에서 발생하는 실패를 간과하고 있습니다. 마이크로서비스 시스템에서는 응답 본문(response bodies)이나 진입점 작업만으로는 실패를 신뢰성 있게 구별할 수 없어 도구 비교에 문제가 발생합니다.

본 논문에서는 배포된 마이크로서비스 시스템의 블랙박스 REST API 테스트 도구를 위한 Kubernetes 기반 벤치마킹 플랫폼인 RESTberus를 소개합니다. RESTberus는 API 수준의 증거(API-level evidence)를 분산 추적(distributed traces)과 보완함으로써, 대상 서비스에서 발생하는 실패와 다운스트림 종속성에서 발생하는 실패를 구별할 수 있습니다.

두 가지 마이크로서비스 벤치마크에 걸쳐 여섯 가지 도구를 대상으로 진행한 결과, 저희의 추적 인식 중복 제거(trace-aware deduplication) 전략은 87.1%의 정확도를 달성했으며, 이는 이전 연구의 기준선(baselines)보다 10~13 퍼센트포인트 더 높은 수치입니다. 또한, 본 실증 연구는 모든 도구가 다운스트림 실패를 노출시키며, 이는 평균적으로 추정된 고유 실패 중 11.7%를 차지하는데, 이 비율은 격리 서비스 벤치마크로는 노출할 수 없는 부분입니다.

단일 서비스 벤치마크에서는 RESTberus가 RESTgym과 통계적으로 동등한 결과를 도출하여, 통합 수준의 평가(integration-level assessments)가 기존 도구와의 호환성 및 이전 평가와의 비교 가능성을 유지할 수 있음을 입증했습니다.