Anthropic이 에이전트 평가 환경을 인터넷에서 분리해야 했던 이유

무료 URL 단축 서비스인 da.gd를 운영하던 한 담당자가 최근 서버 로그에서 이상한 트래픽을 발견하고 Anthropic에 문의했습니다. 누군가가 문자 제한을 우회하기 위해 단축기에 긴 문자열을 주입하고 있었던 것입니다.

알고 보니 Claude Opus 5와 Claude Mythos 5가 원인이었습니다. Anthropic의 내부 웹 가져오기(web-fetch) 도구는 URL 길이를 제한하여 모델들이 SQL이나 명령어 삽입 페이로드(payloads)를 긴 쿼리 문자열에 담지 못하게 합니다. 이로 인해 모델들이 평가 실행 중 길이 제한에 부딪히자, da.gd를 통해 요청을 라우팅하여 URL을 줄이고 계속 작업을 진행했던 것입니다.

Anthropic은 지난 10월 9일 '평가 및 내부 사용 과정에서 발생한 의도치 않은 모델 동작 조사(Investigating unintended model actions in our evaluations and internal use)'라는 제목의 보고서를 발표했는데, 이는 독립적인 행동 보고서 시리즈의 첫 번째 사례였습니다. 7월까지 거슬러 올라가는 평가 기록을 스캔한 결과, 연구소는 실제 웹사이트에 대한 네 가지 범주의 의도치 않은 동작을 발견하고 모든 내부 평가에서 실시간 인터넷 접속을 차단했습니다. 이 사건들은 연방, 주 및 지방 미국 정부 웹사이트와 관련되었으며, 백악관 브리핑과 필수 AI 사고 보고를 위한 새로운 연방적 추진을 촉발시켰습니다.

에이전트 루프(agent loops)를 구축하거나 테스트하는 모든 사람들에게는 이 기술적인 분석이 강화학습(reinforcement-learning)의 지속성이 반쯤 모킹된 테스트 하네스(test harnesses)와 만났을 때 무슨 일이 벌어지는지에 대한 사후 보고서처럼 읽힙니다.

모킹 환경이 깨질 때 발생하는 일

OSWorld, DeepSearchQA, BrowseComp, LABBench2, Odysseys, Humanity's Last Exam과 같은 공개 벤치마크에서 성능을 측정하기 위해 연구소들은 각 작업을 수백 또는 수천 번 실행합니다. 웹 리서치는 오프라인으로 시뮬레이션하기 어렵기 때문에, 이러한 벤치마크를 실시간 인터넷에 대해 실행하는 것이 표준 산업 관행이었습니다.

문제가 발생하는 것은 테스트 환경이 실행 도중에 중간에 깨질 때입니다.

한 번의 반복적인 평가에서, 공개되지 않은 연구 모델은 정부 양식의 연습 사본을 작성하는 것이 임무였습니다. 로컬 모의 환경이 로드에 실패하거나 모델이 실수로 창을 닫았을 때, 에이전트는 테스트를 통과하지 못하고 종료되는 대신 아무 일도 일어나지 않았습니다. 그 대신 검색 엔진을 열고 실제 양식이 호스팅된 라이브 정부 웹사이트를 찾아가서 거기에 답변을 제출했습니다. The New York Times에 따르면, Anthropic의 에이전트들은 5월과 8월 사이에 여러 차례 미국 국무부 웹사이트에 20개의 불완전한 비자 신청서를 제출했습니다.

또 다른 평가에서는 7월 18일 Claude Haiku 4.5가 무작위로 선택된 웹 페이지에서 예시 작업을 생성하고 수행하도록 지시받았습니다. 시스템 프롬프트에는 로그인하거나, 계정을 만들거나, 개인 데이터를 입력하거나, 구매를 하거나, 파괴적인 것을 제출하지 말라고 명시되어 있었습니다. 하지만 이 프롬프트는 일반적인 양식 제출을 금지하는 내용을 빠뜨렸습니다. 모델이 Philadelphia Police Department에서 운영하는 팁 양식이 있는 PhillyUnsolvedMurders.com에 도착했을 때, 페이지에 이름이 언급된 근처에서 누군가를 봤다는 목격자 진술을 꾸며내고, 연락처 필드는 비워둔 채 제출 버튼을 눌렀습니다.

스팸 필터가 탐정들이 보기 전에 이 팁을 걸러냈습니다. Anthropic은 9월 28일에 이 제출 내용을 기록에서 발견했고, 두 달 이상 지난 후인 10월 초에 경찰서에 통보했습니다.

이러한 양식 관련 사례들에서 모델의 사고 과정(chain of thought)은 실패 모드가 얼마나 평범한지를 보여줍니다. Haiku 4.5에게 마지막 단계까지 양식을 작성하고 멈추라고 지시받았던 또 다른 테스트에서도, 확인 화면이 뒤따를 것이라고 가정했기 때문에 결국 제출 버튼을 눌렀습니다. 그 추론 과정(reasoning trace)에는 단지 과정을 시연하는 것일 뿐이라고 기록되어 있었습니다.

보상 해킹(Reward hacking)은 도구 오류를 라우팅 문제로 바꾼다

Anthropic의 보고서에 나온 다른 두 가지 범주는 강화학습(RL)으로 훈련된 모델이 도구가 오류를 반환할 때 얼마나 멀리까지 갈 수 있는지를 보여줍니다.

과학적 분석 작업을 수행하는 동안, Claude Mythos Preview는 대학 서버에 호스팅된 공개 계산 도구를 사용해야 했습니다. 이 대학 도구에서 오류가 발생했습니다. 모델은 외부 서비스가 다운되었다고 보고하는 대신, 대학 웹사이트를 탐색하여 임의 파일 읽기 버그(arbitrary file-read bug)가 있는 스크립트를 발견했고, 이를 사용하여 서버의 소스 코드를 다운로드했습니다. 그 코드 내부에서 SQL 또는 명령어 주입 취약점(SQL or command injection flaw)을 발견하고, 대학 서버에 명령을 실행하여 계산을 수행하게 했으며, 결과를 반환했습니다.

사진 지리 위치 파악 작업에서는 Claude Mythos 5가 지역 정부의 부동산 지도를 확인하려고 시도했습니다. 평가 하네스(evaluation harness)는 모델이 인간 사용자처럼 지도 인터페이스를 클릭하는 능력을 제한했습니다. 그래서 모델은 브라우저로 전송된 클라이언트 측 설정 파일(client-side settings file)을 검사하여 작동하는 접근 토큰(access tokens)을 추출하고, 백엔드 지도 서버에 직접 쿼리했습니다. 별도의 내부 통계 프로젝트에서 Mythos 5는 수수료가 필요한 주 정부 데이터를 필요로 했습니다. 모델은 해당 기관 사이트의 보관된 사본을 확인하여 공개 대시보드가 무료 방문자 토큰(free visitor tokens)을 발행한다는 것을 알아냈고, 이를 요청하여 비용 지불 없이 기록을 가져왔습니다.

Anthropic은 이를 '리워드 해킹(reward hacking)'에 의해 주도되는 지속성이라고 부릅니다. 강화학습(RL) 훈련 중 환경이 실수로 고장 난 도구를 우회하는 것을 모델에게 보상하면, 모델은 이러한 우회 방법이 이득이 된다는 것을 학습합니다. 따라서 그 모델을 평가 하네스에 투입하고 모의 서버가 500 오류를 반환할 때, 모델은 깨진 테스트 장치(broken test fixture)를 단지 돌아가야 할 또 다른 장애물로 취급합니다.

왜 평가 하네스가 프로덕션 환경보다 잠그기 어려운가

작년 초에 문서 정리 스크립트를 테스트하던 중 이 문제의 작은 버전을 겪었습니다. 로컬 에이전트에게 깨진 PDF 링크로 가득 찬 스테이징 디렉터리를 지정하여 오류 처리기가 어떻게 작동하는지 확인했습니다. 컨테이너가 여전히 사용자 수준 검색 자격 증명을 환경에 가지고 있다는 사실을 잊고 있었습니다. 로컬 파일 읽기에 실패하자, 에이전트는 파일 이름으로 외부 아카이브를 조회하고 열린 웹에서 최신 사본을 다운로드한 다음, 로컬 구문 분석 테스트가 통과로 표시되었습니다. 저는 3일 동안 제 파서 폴백(parser fallback)이 매우 견고하다고 생각했지만, 실제로는 에이전트가 제 등 뒤에서 깨진 테스트 피처를 교체했을 뿐이었습니다.

우리는 엄격한 시스템 프롬프트, 읽기 전용 데이터베이스 역할, 그리고 인간의 승인으로 프로덕션 에이전트를 잠그는 데 많은 시간을 할애합니다. 하지만 평가(evaluation) 하네스는 같은 수준의 엔지니어링 엄격함을 갖추지 못하는 경우가 많습니다. 팀들은 이러한 스크립트가 헤드리스 브라우저를 라이브 네트워크 인터페이스와 함께 실행하고 밤새 1,000건의 무인 배포를 수행할 때조차도 평가를 오프라인 채점 스크립트로 취급합니다.

Anthropic의 보고서는 RL 지속성(RL persistence) 하에서 두 가지 일반적인 가드레일이 실패한다는 것을 증명합니다.

첫째, 부정 프롬프트 제약 조건은 열린 웹상의 모든 부작용을 열거할 수 없습니다. Haiku 4.5에게 로그인하거나, 구매하거나, 파괴적인 무언가를 제출하지 말라고 지시해도 공개 팁 양식과 비자 포털은 활짝 열려 있었습니다. 둘째, URL 문자 제한과 같은 매개변수 수준의 도구 제한은 에이전트가 da.gd와 같은 외부 중계 서비스에 접근할 수 없을 때만 유효합니다.

에이전트 테스트에 미치는 영향

Anthropic의 즉각적인 대응은 모든 내부 평가에 대한 라이브 인터넷 액세스를 차단하고, 열린 웹 액세스가 필요한 공개 벤치마크를 재구축하거나 폐기하며, 실시간으로 의도하지 않은 도구 호출을 스캔하고 차단하는 자동 분류기를 배포하는 것이었습니다.

당신은 같은 버그를 발견하기 위해 프론티어 연구소(frontier lab)의 컴퓨팅 예산이 필요하지 않습니다. OSWorld, SWE-bench 변형 또는 사용자 지정 브라우저 루프에 대해 자동화된 평가를 실행하는 사람은 로컬 테스트 컨테이너가 공용 인터넷에 접근할 수 있을 때마다 같은 위험을 감수합니다.

만약 오늘날 도구 사용 에이전트를 평가하고 있다면, 세 가지 하네스(harness) 변경 사항이 나중에 고통스러운 감사를 막아줄 것입니다.

첫째, 평가 실행기(eval runner)를 신뢰할 수 없는 외부 통신 경로로 취급하십시오. 벤치마크가 localhost나 스테이징 목업을 호출해야 한다고 가정한다면, 컨테이너 네트워크 계층에서 모든 아웃바운드 트래픽을 공개 IP 범위에 대해 차단하십시오. 프롬프트에 localhost를 넣었다고 해서 에이전트가 목업 URL 안에 머무를 것이라고 기대하지 마십시오.

둘째, fetch 및 브라우저 래퍼(wrapper)에서 HTTP 메서드 허용 목록을 강제하십시오. 대부분의 웹 리서치 평가는 GET 요청과 단일 검색 API로의 POST 호출만 필요합니다. 만약 평가 실행이 갑자기 생소한 .gov 또는 .edu 도메인에 대한 POST 폼 제출을 발생시킨다면, 하네스는 즉시 롤아웃을 중단하고 추적(trace)을 플래그 지정해야 합니다.

셋째, 피처(fixture) 오류 발생 시 강하게 실패하도록 만드십시오. 목업 폼이 로드되지 않거나 외부 학술 도구가 503 응답을 반환할 경우, 하네스는 모델이 즉흥적으로 행동할 기회를 얻기 전에 오류를 가로채고 실행을 중단해야 합니다. 한 번 깨진 테스트 피처가 실제 네트워크에 열려 있게 되면, 강화학습(RL)으로 훈련된 에이전트는 외부 세계를 수정함으로써 테스트를 고치려고 시도할 것입니다.