AI 개발 속도와 치솟는 컴퓨팅 (compute) 비용이 결합되면서, 프런티어 모델 (frontier models)을 평가할 책임이 있는 AI 연구원들을 압박하고 있습니다. 이는 해당 모델들의 capabilities를 측정하는 것이 점점 더 어려워지는 시점과 맞물려 있습니다.

중요한 이유: 안전 테스트 (safety testing)가 속도를 맞추지 못할 경우, 기업을 해킹하거나 생물 무기 개발을 도울 수 있는 모델들이 그 능력이 무엇인지 아무도 알기 전에 대중에게 공개될 수 있습니다.

---

• 지난주 Hugging Face에서 발생한 보안 침해 사고는, 안전 테스트 (safety testing) 도중 OpenAI의 모델들이 자율적으로 수행한 것으로, 일부 최고 위험 행동이 출시 전 테스트 단계 자체에서 나타날 수 있음을 보여줍니다.

미국의 프런티어 AI 기업들이 새로운 모델을 시장에 출시하기 위해 경쟁하는 가운데, 몇 가지 과제들이 AI 안전 및 보안 연구원들을 묶어두고 있습니다:

• 일부 테스터들은 Axios에 모델 출시 전 모델의 능력을 연구할 수 있는 시간이 훨씬 줄어들고 있다고 말합니다. 어떤 경우에는 몇 주가 아니라 단 며칠뿐인 경우도 있습니다.
• 모델의 보안 기술을 정확하게 조사할 수 있는 벤치마크 (benchmarks)를 구축하는 것은, 더 큰 테스트가 점점 더 많은 컴퓨팅 (compute) 자원을 소모함에 따라 비용 부담이 지나치게 커지고 있습니다.
• 연구원들은 종종 다른 테스터들과 공유되는, 속도 제한이 걸린 단일 API 엔드포인트 (API endpoint)에 접근 권한을 갖게 됩니다. 따라서 이들은 사용량 제한에 빠르게 도달하며, 배포 전 주어진 시간 내에 대규모 또는 철저한 평가를 수행할 수 없습니다.

현실 점검: 전 Metr 연구원인 Lawrence Chan은 Axios에 모델들이 점점 더 속임수를 쓰고 자신이 평가받고 있다는 사실을 학습하기 시작하면서, 모델 자체가 스스로의 평가를 방해하고 있다고 말했습니다.

• Chan은 이것이 평가자들을 어려운 상황에 처하게 한다고 덧붙였습니다. 즉, 감시받고 있다는 사실을 아는 모델이 실제 환경 (in the wild)에서 어떻게 행동할지 파악해야 하는 상황입니다.

위협 수준: Chan은 이러한 종류의 테스트 속임수 (test-gaming)가 해결되지 않는다면,

• EqualAI의 사장 겸 CEO인 Miriam Vogel는 Axios에, 대부분의 사람들이 AI를 직접 구축하기보다는 은행, 소셜 미디어 플랫폼, 뉴스 기관 및 기타 AI 시스템을 배포하는 기업들을 통해 AI와 상호작용하기 때문에, 그 이해관계가 프런티어 AI (frontier AI) 연구소를 넘어 확장된다고 말했습니다.
• Vogel는 만약 우리가 AI 안전 (AI safety)을 잘못 다룬다면, "우리가 신뢰를 받을 만한 거버넌스 (governance)를 구축하지 않았기 때문에 사람들에게 해를 끼치고 우리의 기관들에 해를 끼칠 것입니다"라고 말했습니다.

전체적인 그림 (The big picture): 안전 테스트는 모델 기업들이 배포 전에 제3자 평가 기관과 자발적으로 협력하는 것에 의존합니다.

• "기업들이 자발적으로 자신들의 비공개 모델에 대한 접근 권한을 부여하고 있습니다"라고 Chan은 말했습니다. "결과적으로, 당신은 그들의 눈치를 보아야만 합니다."
• 그는 짧은 테스트 기간, 제한된 API 접근 권한, 그리고 값비싼 벤치마크 (benchmarks) 모두가 "이 문제의 하류 (downstream)에 있는 현상"처럼 느껴진다고 말했습니다.

행간의 의미 (Between the lines): 많은 프런티어 AI 모델들이 일상적인 사이버 테스트에서 높은 점수를 기록함에 따라 기존 벤치마크를 뛰어넘고 있으며, 이로 인해 AI 기업과 제3자 평가 기관이 이러한 모델들의 사이버 역량을 적절히 측정하는 데 어려움을 겪고 있습니다.

• 이번 주 초, Cisco는 자사의 새로운 보안 중심 오픈 소스 (open-source) 모델의 역량을 측정할 더 나은 방법이 없었기 때문에, 특히 이를 테스트하기 위한 새로운 내부 벤치마크를 개발했다고 밝혔습니다.
• Cisco의 부사장 겸 수석 AI 과학자인 Amin Karbasi는 Axios에 "벤치마킹에는 위기가 있습니다"라고 말했습니다. Karbasi는 만약 모든 이가 벤치마크에서 95%의 점수를 받는다면, 이는 기업들이 해당 벤치마크를 대상으로 학습하고 있다는 것을 의미할 수 있다고 말합니다.

심층 분석 (Zoom in): 제3자 평가 기업인 EquiStamp의 CEO이자 공동 창립자인 Chris Canal은 Axios에, 자신의 회사가 인기 있는 사이버 보안 벤치마크의 "하드 모드 (hard mode)" 버전을 구축해 달라는 요청을 받았다고 말했습니다. 이 모드에서는 모델이 심각하고 미발표된 소프트웨어 취약점을 찾아내고 악용해야 합니다.

• 하지만 이를 책임감 있게 수행하기 위해서, 그의 팀은 익스플로잇 시장 (exploit market)으로부터 제로데이 취약점 (zero-day vulnerabilities)에 관한 정보를 구매해야 할 것이라고 그는 말했습니다.
• 단 하나의 제로데이 (zero-day)는 5만 달러에서 10만 달러에 달할 수 있으며, Canal은 가격을 끌어올리는 러시아와 북한 정부와 경쟁해야 할 것이라고 말합니다.
• 한 프런티어 AI (frontier AI) 기업은 Canal에게 자사의 모델이 단순히 공개된 인터넷을 "익스플로잇 탐색기 (exploit finder)"로 사용하여 스스로 새로운 취약점을 발견할 수 있다고 말하며 이러한 우려를 일축했습니다.

주목할 점: 일부 평가자들은 제3자 테스트가 공개 배포 직전이 아니라 모델 학습 단계 (during model training)에서 이루어져야 한다고 주장합니다.

• 제3자 AI 평가 기관인 Apollo Research의 CEO Marius Hobbhahn는 X를 통해 "외부 배포는 더 이상 해악을 막는 중요한 장벽이 아닙니다"라고 말했습니다. "똑똑하게 정렬되지 않은 (misaligned) 모델은 이미 학습 중이나 내부 평가 (internal evals) 단계에서 해악을 끼칠 것입니다."
• Chan은 더 이른 시기의 테스트, 더 엄격한 샌드박스 (sandboxes), 그리고 모니터링이 모두 도움이 되지만, 그 어떤 것도 근본적인 문제를 해결하지는 못한다고 말했습니다. "당신보다 훨씬 더 똑똑한 존재로부터 안전한 상자를 만드는 것은 어렵습니다."