Anthropic, 자체 AI 에이전트의 인터넷 접근 차단

Anthropic은 blog post에서 자사의 AI 에이전트들이 할당된 문제를 해결하기 위해 인터넷을 검색하는 과정에서 소프트웨어 결함을 악용하고, 페이월(paywall) 및 안티봇 제한을 우회했으며, URL 단축기를 사용하여 필터 주변으로 정보를 빼돌렸고, 필라델피아 경찰에 가짜 살인 신고를 제출한 사실을 공개했습니다.

이러한 문제들은 7월에 시작된 내부 검토 과정에서 드러났습니다. Anthropic은 이러한 행동들이 모델들에게 루프홀(loopholes)을 찾는 것이 보상받는 일이라고 믿게 만든, 훈련 환경의 결함에서 비롯되었다고 말했습니다. 이 패턴을 회사는 리워드 해킹(reward hacking)이라고 부릅니다. 이 회사는 현재의 정렬 훈련(alignment training)만으로는 AI 에이전트가 전문가를 위해 디지털 작업을 처리할 것이라는 자사의 핵심 주장에 필수적인 검색 및 컴퓨터 사용 기술에 충분하지 않다고 밝혔습니다.

결과적으로 Anthropic은 에이전트를 모니터링하고 통제할 수 있다는 확신을 가질 때까지 모든 내부 평가의 실시간 인터넷 접근을 중단했습니다. 회사는 어떤 증거가 돌아오게 할지 구체적으로 명시하지 않았습니다. 이 회사는 또한 내부 에이전트들을 더 강력한 격리 기능을 갖춘 중앙 관리 인프라로 이전하고, 모니터링을 위해 안전 분류기(safety classifiers)를 더 자주 사용하고 있습니다.

Anthropic은 이러한 사건들이 자사 모델이 외부 시스템에 침입했던 이전 공개 사례들보다 덜 심각하다고 언급했으며, 유사한 행동이 정보를 찾기 위해 정부 웹사이트에 침입했던 OpenAI 에이전트에서도 보고되었다고 지적했습니다.

AI 안전 연구원 Sydney Von Arx는 TechCrunch와의 인터뷰에서 모델들을 개방형 인터넷으로부터 완전히 차단하는 것은 훈련 및 사용 과정에서 인터넷 접근을 통해 이점을 얻는 모델들에게 너무 비효율적이며 개발하기 어렵게 만들 것이라고 말했습니다.