품질 보증 (Quality Assurance) 분야에서 조용한 혁명이 일어나고 있으며, 대부분의 엔지니어링 블로그는 아직 이를 따라잡지 못했습니다.

이것은 단순히 "AI 보조 테스트 (AI-assisted testing)"나 "AI 생성 테스트 케이스 (AI-generated test cases)"에 관한 것이 아닙니다. 그런 것들은 작년의 뉴스일 뿐입니다. 2026년에 실제로 일어나고 있는 일은 구조적으로 다릅니다. 바로 **전체 에이전틱 QA 루프 (full agentic QA loops)**입니다. 이 루프에서는 AI 에이전트가 무엇을 테스트할지 계획하고, 테스트를 생성하고, 실행하고, 실패를 해석하며, 깨진 셀렉터 (selectors)를 치유합니다. 이 모든 단계에서 _인간의 개입 (human in the loop)_이 전혀 없습니다.

이것이 아키텍처 측면에서 어떻게 보이는지, 어떤 도구들이 이를 주도하고 있는지, 그리고 오늘날 엔지니어링 팀을 구축하고 있다면 이것이 무엇을 의미하는지 설명해 보겠습니다.

무엇이 QA를 "에이전틱 (Agentic)"하게 만드는가 (단순 AI 보조와 비교했을 때)?

이 차이는 엔지니어링 측면의 영향이 완전히 다르기 때문에 중요합니다.

• AI 보조 QA (AI-Assisted QA): 개발자가 테스트를 작성하면, AI가 개선 사항을 제안하거나, 셀렉터 (selectors)를 자동 완성하거나, 커버리지 공백을 표시합니다. 여전히 인간이 모든 테스트를 작성합니다. 여전히 인간이 실패가 실제인지 결정합니다.
• 에이전틱 QA (Agentic QA): 에이전트에게 사용자 스토리 (user story) (또는 풀 리퀘스트 (pull request) diff)가 주어지면, 에이전트는 다음과 같은 라이프사이클을 자율적으로 실행합니다:

1. 어떤 테스트 시나리오가 존재하는지 결정 (Determines)
2. 테스트 코드 생성 (Generates)
3. 스테이징 (staging) 환경에서 실행 (Executes)
4. 실제 버그와 셀렉터 드리프트 (selector drift)를 구분하기 위해 실패 사례를 파싱 (Parses)
5. DOM 디핑 (DOM diffing)을 사용하여 깨진 셀렉터를 자동 치유 (Auto-heals)
6. 근본 원인 분석 (root cause analysis)과 함께 실제 실패 사례를 에스컬레이션 (Escalates)

인간의 업무는 **"테스트 작성 및 유지보수"**에서 **"에스컬레이션 검토 및 수락 기준 (acceptance criteria) 정의"**로 전환됩니다.

이것은 미묘한 생산성 향상이 아닙니다. 에이전틱 QA 플랫폼을 도입한 팀은 동일한 QA 인원으로 테스트 커버리지 (test coverage)가 5~10배 성장했다고 보고합니다. 작성 단계의 병목 현상이 완전히 에이전트로 이동하기 때문입니다.

아키텍처: 추론 루프 (Reasoning Loops) 및 자가 치유 DOM

에이전틱 QA의 핵심은 **추론 루프 (reasoning loop)**라고 불리는 것입니다. 선형적인 스크립트 대신, 파이프라인은 연속적인 사이클로 작동합니다:

[Trigger: PR merged / deploy event]
                 ↓
[Agent reads diff + existing test map]
...

"자가 치유 DOM (self-healing DOM)" 구성 요소는 대부분의 수동 QA 유지보수 작업을 제거합니다. 디자인 팀이 ID를 변경하거나 마크업을 재구성할 때 요소 선택자 (#btn-submit-v2)가 변경되기 때문에, 기존의 Playwright/Selenium 테스트는 끊임없이 깨집니다.

에이전틱 시스템은 UI 요소의 목적에 대한 시맨틱 모델 (semantic model)(단순한 로우 셀렉터가 아닌)을 구축하며, DOM이 변경될 때 올바른 선택자를 자동으로 다시 도출합니다. 테스트 플랫폼들의 보고에 따르면, 이 접근 방식은 프로덕션 팀의 테스트 유지보수 오버헤드를 **90%**까지 줄여줍니다.

2026년에 알아둘 만한 도구들

• Mabl — GUI 우선 경험을 원하는 팀에게 최적입니다. 2026년에 Jira 티켓으로부터 AI 기반 테스트 생성을 추가했습니다. 기술적이지 않은 QA 리드들에게 강력한 도구입니다.
• Testsigma — 자가 치유 (self-healing) 기능에 가장 공격적입니다. 자연어 테스트 저작 기능을 특징으로 하며, 전통적인 자동화 프레임워크에 비해 10배 빠른 테스트 개발 속도를 자랑합니다.
• Shiplight AI — MCP (Model Context Protocol) 통합이 핵심 기능입니다. 코딩 에이전트 (Claude, Cursor 등)가 PR을 제출하기도 전에 개발 중간 단계에서 Shiplight를 호출하여 UI 변경 사항을 검증할 수 있습니다.
• Katalon — 엔터프라이즈급입니다. 플랫폼을 평가 중이라면 에이전틱 QA 아키텍처에 대한 포괄적인 정보를 제공합니다: Katalon Agentic QA Guide.

실제 사례: AI Velocity Pod 내부의 에이전틱 QA

Ailoitte에서는 우리는 **AI Velocity Pods**라고 부르는 것을 운영합니다. 이는 거버넌스 기반 AI (governed AI) 워크플로우로 보강된 소규모 엘리트 엔지니어링 팀으로, 전통적인 에이전시보다 5배 빠른 속도로 결과물을 출시합니다.

가장 레버리지가 높은 구성 요소 중 하나는 우리의 Agentic QA Pipeline이며, 이를 CI/CD 흐름에 직접 통합했습니다. 이것이 대체한 작업들은 다음과 같습니다:

• 수동 테스트 작성 (Manual test authoring): 스프린트당 40시간 이상에서 약 4시간으로 단축 (에이전트가 작성하고 사람이 검토).
• 플래키 테스트 (Flaky test) 비율: 셀렉터 드리프트 (selector drift)로 인한 테스트 실패율이 **약 30%**에서 **약 2%**로 감소.
• 커버리지 공백 (Coverage gaps): 이전에는 머지 (merge) 시 신규 기능의 테스트 커버리지가 **20–40%**였으나, 이제는 머지 전 80% 이상을 달성.

이러한 복리 효과는 매우 중요합니다. 테스트가 불안정하지 않으면(not flaky), 개발자는 테스트를 신뢰하게 됩니다. 개발자가 테스트를 신뢰하면 더 빠르게 움직입니다. 더 빠르게 움직이면, 120일 대신 38일 만에 제품을 출시할 수 있습니다.

이것이 엔지니어링 팀에 의미하는 바

만약 당신이 2026년에 도구 도입 결정을 내리는 CTO 또는 엔지니어링 리드라면, 다음과 같은 실질적인 영향이 있습니다:

• 인력 산정 (Headcount calculus)의 변화: 거대하고 전담화된 QA 팀 없이도 80% 이상의 E2E (End-to-End) 커버리지를 달성할 수 있습니다. 이는 막연한 희망 사항이 아닌 현실입니다.
• 테스트 유지보수는 더 이상 병목 현상이 아닙니다: 각 머지 시 에이전트가 자동으로 테스트를 작성함에 따라, 기존의 _"테스트는 나중에 작성하자"_라는 변명은 사라집니다.
• 통합 지점이 중요합니다: 가장 강력한 설정은 에이전틱 코딩 도구(agentic coding tools)를 에이전틱 QA 도구와 직접 연결하는 것입니다 (MCP 또는 유사한 방식 활용). Shiplight + Claude가 선도적인 사례입니다.
• 여전히 사람이 필요합니다: 작성을 위해서가 아니라, 무엇이 "올바른 동작"인지 정의하고 실제 에스컬레이션 (escalations) 상황을 검토하기 위해서입니다. 판단 계층 (judgment layer)은 인간의 영역으로 남습니다.

에이전틱 QA (Agentic QA)는 비용 절감을 위한 수단이 아닙니다. 이는 속도(velocity)를 위한 전략입니다. 2026년에 승리하는 팀은 가장 큰 QA 부서를 가진 팀이 아니라, 가장 긴밀한 피드백 루프 (feedback loops)를 가진 팀입니다.

이것이 실제로 작동하는 모습을 보고 싶으신가요? Ailoitte의 Agentic QA Pipeline은 모든 정찰제 엔지니어링 계약의 일부입니다. 자세한 내용은 ailoitte.com/agentic-qa-pipeline에서 확인하세요.