브라우저 자동화, 결정론적 검사 및 AI를 결합한 웹사이트 QA 파이프라인 설계 방법

웹사이트 감사 시스템을 구축하는 것은 처음에는 간단해 보입니다.

URL 입력 → 웹사이트 크롤링 → 문제점 찾기 → 보고서 생성.

하지만 실제로는 신뢰할 수 있는 웹사이트 QA 시스템은 훨씬 더 복잡합니다.

유용한 감사 도구는 실제로 렌더링된 웹사이트를 이해하고, 기술적 동작을 검사하며, SEO 문제를 감지하고, 접근성을 평가하며, 성능을 측정하고, 보안 문제를 식별하여 개발자가 실제로 조치할 수 있는 결과를 산출해야 합니다.

AI가 이러한 작업 중 일부에 도움을 줄 수는 있지만, 모든 것을 AI에 의존하는 것은 일관되지 않은 결과, 환각(hallucinations), 예측 불가능한 점수 책정, 그리고 불필요한 API 비용이라는 또 다른 문제들을 야기합니다.

최근 진행했던 엔지니어링 프로젝트 중 하나를 위해, 저는 간단한 원칙을 중심으로 QA 파이프라인을 설계했습니다:

측정에는 결정론적 시스템(deterministic systems)을 사용하고. 설명 및 지원에는 AI를 사용한다.

이 글에서는 그 접근 방식의 아키텍처와 엔지니어링 결정을 설명합니다.

-> 핵심 문제점

웹사이트 감사는 일반적으로 두 가지 매우 다른 유형의 작업을 포함합니다.

첫 번째 유형은 객관적입니다:

• 페이지가 HTTP 200을 반환하는가?
• 링크가 깨졌는가?
• 페이지에 H1이 있는가?
• canonical URL이 존재하는가?
• HTTPS가 활성화되었는가?
• 보안 헤더가 구성되었는가?
• 페이지의 TTFB(Time To First Byte)는 얼마인가?
• 이미지가 대체 텍스트를 가지고 있는가?

이러한 문제들은 소프트웨어가 반복적으로 동일한 답변을 생성할 수 있어야 하는 문제입니다.

두 번째 유형은 해석적입니다:

• 이 문제가 왜 중요한가?
• 개발자는 무엇을 변경해야 하는가?
• 문제는 어떻게 해결되어야 하는가?
• 어떤 이슈에 먼저 주의를 기울여야 하는가?
• 발견된 내용을 고객에게 어떻게 설명해야 하는가?

이 부분이 바로 AI가 유용해지는 지점입니다.

LLM(대규모 언어 모델)에게 전체 감사를 수행하도록 요청하는 대신, 저는 시스템을 여러 계층으로 분리했습니다.

웹사이트
↓
크롤러(Crawler)
↓
브라우저 자동화(Browser Automation)
↓
정규화(Normalization)
↓
결정론적 QA 엔진(Deterministic QA Engine)
↓
점수 산출 + 발견 사항(Scoring + Findings)
↓
AI 분석(AI Analysis)
↓
수정 제안 + 보고서(Fix Suggestions + Reports)

이 시스템을 구축하면서 제가 얻은 가장 큰 교훈은 AI가 명확하게 정의된 작업을 받았을 때 가장 강력하다는 것입니다.

모든 것을 발견할 필요는 없습니다.

모든 결정을 내릴 필요도 없습니다.

그리고 운영 시스템(production systems)을 수정하는 데 있어 무조건적으로 신뢰해서도 안 됩니다.

전통적인 소프트웨어는 정확하게 정의될 수 있는 것들을 측정하는 데 매우 뛰어납니다.

AI는 문제에 해석, 설명, 우선순위 지정 또는 상황별 추천 생성이 필요할 때 매우 유용합니다.

두 접근 방식을 결합하면 어느 한쪽이 모든 것을 하도록 만들려고 하는 것보다 훨씬 강력한 시스템을 만듭니다.

소프트웨어로 측정하고,
AI로 설명하며,
신중하게 수정하고,
다시 소프트웨어로 검증하는 것입니다.

이것이 제가 실제 개발 및 에이전시 워크플로우를 목표로 하는 현대적인 웹사이트 감사 및 QA 플랫폼을 구축할 때 선택할 아키텍처입니다.

프로젝트

저는 이 접근 방식을 자동화된 웹사이트 분석, 결정론적 점수 산출, AI 지원 분석 및 전문 보고서를 중심으로 설계된 웹사이트 QA 및 감사 플랫폼인 ScanFix에 구현했습니다.

이 프로젝트에 대한 자세한 내용은 여기에서 확인할 수 있습니다:

[https://uniteelements.com/offer-os/scanfix/]

본 기사는 초안 작성과 언어 다듬기에 AI의 도움을 받아 준비되었습니다. 저는 출판 전에 기술 개념과 구조를 검토했으며, 여기에 설명된 구현 세부 사항은 저 자신의 프로젝트 및 엔지니어링 작업에 기반합니다.