AI 에이전트 (AI agents)와 자동화된 크롤러 (automated crawlers)는 인터넷이 작동하는 방식의 일상적인 부분이 되어가고 있습니다. 이들은 콘텐츠를 인덱싱하고, 워크플로우 (workflows)를 실행하며, AI 어시스턴트 (AI assistants)를 구동하고, 웹사이트 및 API와 대규모로 상호작용합니다. 하지만 해당 트래픽을 받는 사이트 입장에서는 근본적인 질문이 남습니다. 어떤 봇이 합법적인지 어떻게 알 수 있을까요?

기존의 식별 방식에는 실질적인 한계가 있습니다. User-Agent 문자열은 쉽게 속일 수 있으며, IP 허용 목록 (IP allow lists)을 유지하는 것은 시간이 많이 걸리고 비용이 많이 들 뿐만 아니라, 어쨌든 속이기도 쉽습니다. 이러한 접근 방식 중 그 어느 것도 실제로 누가 요청을 보내고 있는지에 대한 확신을 주지 못하며, 이것이 바로 Web Bot Auth (WBA)가 해결하도록 설계된 문제입니다.

Web Bot Auth는 현재 Internet Engineering Task Force (IETF)를 통해 진행 중인 신흥 개방형 표준으로, 자동화된 클라이언트가 자신의 HTTP 요청에 암호학적으로 서명(cryptographically sign)할 수 있도록 합니다. 봇 운영자는 비대칭 키 쌍 (asymmetric key pair)을 생성하고, 공개 키 (public key)를 검색 가능한 디렉토리에 호스팅하며, 개인 키 (private key)를 사용하여 외부 요청에 서명합니다. 서명된 요청을 받는 모든 서버는 게시된 공개 키를 통해 서명을 검증할 수 있으며, 이를 통해 요청이 실제로 주장하는 대상으로부터 왔음을 확인할 수 있습니다.

이 표준은 두 개의 활성 IETF 초안 (drafts)을 기반으로 구축되었습니다. 하나는 봇이 키를 게시하고 교체(rotate)하는 방법을 정의하는 디렉토리 초안 (directory draft)이고, 다른 하나는 해당 키를 사용하여 개별 HTTP 요청에 서명하는 방법을 정의하는 프로토콜 초안 (protocol draft)입니다. Fingerprint는 동일한 기반 위에 구축된 서명된 AI 에이전트 탐지 (signed AI agent detection)를 지원합니다.

합법적인 봇 및 에이전트 개발자들에게 이는 주목할 가치가 있습니다. WBA를 인식하는 인프라를 채택한 사이트는 검증된 봇에게 차별화된 액세스 권한을 부여하거나, 마찰을 우회하거나, 수신 중인 자동화된 트래픽에 대한 더 풍부한 메타데이터 (metadata)를 노출할 수 있으며, 지금 구현을 올바르게 해두는 것은 시대의 흐름을 앞서가는 길입니다.

HTTP 레벨에서, 적절하게 서명된 WBA 요청에는 세 가지 헤더가 포함됩니다:

Signature-Input

서명되는 구성 요소와 tag를 포함한 서명의 매개변수를 정의합니다.

web-bot-auth로 설정된 값, 서명 키의 JSON Web Key (JWK) 지문(thumbprint)과 일치하는 keyid, created 및 expires 타임스탬프, 그리고 재전송 공격(replay risk) 위험을 줄이기 위해 강력히 권장되는 nonce가 포함됩니다. Signature는 이러한 구성 요소들에 대한 실제 암호화 서명을 포함합니다. Signature-Agent는 귀하의 키 디렉터리를 가리키는 헤더로, 서버가 별도의 외부 협의 없이도 귀하의 공개 키를 쉽게 발견하고 캐싱할 수 있도록 합니다.

예시 요청 헤더 모음은 다음과 같습니다:

Signature-Agent: "https://your-bot.example.com"
Signature-Input: sig1=("@authority" "signature-agent")
;created=1735689600
...

이 모든 것을 올바르게 설정하려면 몇 가지 요소가 필요합니다. Fingerprint는 Ed25519 키를 요구하며, 귀하의 키 디렉터리는 /.well-known/http-message-signatures-directory 경로에 HTTPS를 통해 호스팅되어야 합니다. 또한, 타인이 디렉터리를 미러링하여 귀하를 대신해 등록하는 것을 방지하기 위해 디렉터리 응답 자체도 서명되어야 합니다.

서명 로직을 갖추었다면, 당연히 다음 질문이 생길 것입니다:

HTTPS를 통해 통신하며, 디렉터리 응답은 귀하의 개인 키(private key)로 서명되어야 합니다. - 귀하의 봇이 외부로 보내는 HTTP 요청에 Signature-Input, Signature, 그리고 Signature-Agent 헤더를 사용하여 서명하십시오. - 모든 검증이 올바르게 이루어지는지 확인하려면 fingerprint.com/web-bot-auth/test/로 테스트 요청을 보내십시오.

전체 과정을 확인하려면 문서에 있는 WBA 구현 가이드를 참조하십시오. 구현이 완료되면 Fingerprint에 에이전트를 등록하여 승인된 봇으로 인식되게 할 수 있으며, 당사의 플랫폼을 사용하여 사이트에 에이전트가 어떻게 표시될지 제어할 수 있습니다.

WBA는 아직 부상하고 있는 표준이지만, 실제로 큰 탄력을 받고 있습니다. Cloudflare, AWS, Akamai와 같은 주요 플랫폼들이 이미 지원을 통합했으며, OpenAI, Browserbase, Manus를 포함한 봇 운영자들이 현재 요청에 서명을 하고 있습니다. AI 에이전트의 도입이 증가함에 따라 이 목록은 더욱 길어질 것입니다. 트래픽 품질을 중요하게 생각하는 사이트에 대한 신뢰할 수 있는 액세스가 필요한 봇 또는 AI 에이전트를 구축하고 있다면, 지금 구현을 정비하는 것은 충분한 가치가 있습니다. 서명된 요청을 테스트하는 것부터 시작해 보십시오.

자주 묻는 질문 (Frequently Asked Questions)

Web Bot Auth (WBA)는 자동화된 봇과 AI 에이전트가 HTTP 요청에 암호학적으로 서명할 수 있도록 하는 부상하는 IETF 표준입니다. 이를 통해 서버는 User-Agent 문자열이나 IP 주소와 같이 위조 가능한 신호에 의존하는 대신, 신원을 확신을 가지고 검증할 수 있습니다.

귀하는 Ed25519 키 쌍(key pair)을 생성하고, 공개 키(public key)를 HTTPS를 통해 검색 가능한 디렉터리에 호스팅해야 하며, 세 가지 헤더를 사용하여 외부 요청에 서명해야 합니다: 무엇이 서명되는지 정의하고 만료 시간을 지정하는 Signature-Input, 암호학적 서명 자체를 포함하는 Signature, 그리고 키 디렉터리를 가리키는 Signature-Agent입니다.

Fingerprint는 fingerprint.com/web-bot-auth/test/에서 무료 공개 테스트 엔드포인트를 제공합니다. 이곳에서 서명된 요청을 보내 귀하의 서명이 올바르게 검증되는지에 대한 즉각적인 피드백을 받을 수 있습니다. 계정은 필요하지 않습니다.