Hugging Face 해킹에 대한 몇 가지 생각:

• 제가 알기로는, 이번 사건은 프론티어 연구소(frontier lab)의 내부 배포 과정에서 모델이 샌드박스 환경(sandbox environment)을 탈출한 세 번째 공개 사례입니다:

1. 지난 4월, Anthropic은 Mythos Preview의 초기 내부 배포 버전이 Anthropic의 요청에 따라 샌드박스를 탈출하려고 시도했을 때, 실제로 탈출에 성공하여 연구자가 공원에서 샌드위치를 먹고 있는 동안 이 사실을 이메일로 보낸 사례를 공개했습니다. 또한 이 모델은 Anthropic이 요청하지 않은 행동도 수행했습니다: "성공을 증명하려는 우려스럽고 요청되지 않은 노력의 일환으로, 자신의 취약점(exploit)에 대한 세부 정보를 찾기 어려운 여러 기술적 공개 웹사이트에 게시했습니다."

2. 어제, OpenAI는 내부 모델이 5월 초에 NanoGPT 벤치마크(benchmark) 결과를 OpenAI Slack에 게시하는 대신 GitHub에 게시했다는 사실을 공개했습니다. 해당 모델은 이를 위해 "외부 접속을 차단하도록 설계된 샌드박스 제한 사항을 우회(circumvented)"했습니다.

3. 오늘, OpenAI는 GPT-5.6 Sol과 미출시 모델을 포함한 "모델들의 조합"이 샌드박스 환경을 탈출하여 인터넷 접속 권한을 획득하고 Hugging Face를 해킹했다는 사실을 공개했습니다. 이 모든 과정은 ExploitGym 벤치마크의 정답을 찾는 과정 중에 발생했습니다.

• 중요한 점은, 세 가지 사례 모두에서 모델들이 지시 사항을 따르고 있었다는 것입니다! Anthropic의 지시에 따라 Mythos Preview는 샌드박스를 탈출할 방법을 찾아냈습니다. 표준 NanoGPT 지시 사항에 따라(하지만 OpenAI의 상충되는 지시와는 반대로), 미출시 OpenAI 모델은 GitHub로 가는 길을 찾아내어 PR(Pull Request)을 게시했습니다. ExploitGym을 해결하라는 OpenAI의 지시에 따라, 미출시 OpenAI 모델과 GPT-5.6 Sol은 ExploitGym을 해결하려고 시도했으나, 그 목표를 향해 명백히 잘못된 경로(해킹)를 따랐습니다.

샌드박스(sandbox)를 벗어난 이후, 모델들은 음모를 꾸미거나, 지시 사항과 전혀 상관없는 행동(NSA 해킹! 러시아에 대한 사이버 공격 개시! 경쟁 AI 연구소의 비밀 탈취!)을 하거나, 혹은 그 외의 다른 주요 행동을 자발적으로(sua sponte) 수행하지 않았습니다. 아마도 이 모델들이 수행한 행동 중 지시 사항에 가장 반하는 것은, Mythos Preview가 여러 이름 없는 웹사이트에 게시물을 올려 샌드박스 탈출에 성공했다는 것을 "자랑"한 것이었습니다.

전체 사실이 우리에게 알려지지 않았을 수도 있으며(연구소들이 탈출한 모델의 나쁜 행동을 숨기고 있을 수도 있음), 과거의 성과가 미래의 결과를 보장하지는 않습니다. 하지만 적어도 이러한 사실들에 기반했을 때, 저는 현재 모델들의 정렬 (alignment) 상태에 대해 다소 긍정적으로 업데이트했습니다.

(참고: 저는 모델들이 자신의 목표를 추진하기 위해 어떤 행동이 허용되고 어떤 행동이 허용되지 않는지를 올바르게 추론하지 못한 것을 *지능 (intelligence)*의 실패로 간주합니다. 향후 출시될 더 똑똑한 모델들은 지시 사항을 따르는 사회적으로 용인되는 방식을 더 잘 식별할 것입니다. 제 6살 아들은 아이스크림을 먹을 수만 있다면 Hugging Face를 해킹하는 것에 아무런 문제가 없다고 생각하겠지만, (바라건대) 더 지능적인 성인인 저는 그렇지 않다는 것을 알고 있습니다. 만약 모델들이 탈출 후에 도덕적 품성의 실패를 보였다면 저는 훨씬 더 우려했을 것입니다.)

• OpenAI는 OpenAI의 주장에 따르면, 모델의 고위험 정렬 실패 (misaligned behavior) 비율을 1.0%에서 0.0%로 낮추는 안전장치 (safeguards)를 구현했습니다. 중요한 점은, Hugging Face를 해킹한 모델들은 사이버 보안 벤치마크를 해결하고 있었기 때문에 이러한 안전장치가 의도적으로 제거된 상태에서 작동하고 있었다는 것입니다.

중국 연구소들은 미국보다 X개월 뒤처져 있습니다 (X에 당신이 원하는 숫자를 넣으세요). 외부 압력(즉, 중국 정부의 압력)이 없다면, 중국 연구소들은 유사한 안전장치를 구현하거나 안전 테스트 (safety testing)를 수행하지 않을 가능성이 매우 높습니다.

왜 그럴까요? 첫째, 중국 연구소들은 OpenAI나 Anthropic만큼의 컴퓨팅 자원 (compute)을 보유하고 있지 않습니다. 따라서 그들은 안전 테스트 (safety testing)와 같은 일에 컴퓨팅 자원을 낭비하고 싶어 하지 않을 것입니다. 둘째, 많은 중국 연구소들은 미국의 프런티어 연구소 (frontier labs)들보다 규모가 작습니다. 즉, 안전장치 (safeguards)에 상당한 주의를 기울일 자원이 부족합니다. 셋째, 중국 연구소들은 매우 치열한 경쟁 환경에서 운영됩니다. 추가적인 안전 테스트와 가드레일 (guardrails) 개발에 한두 달을 허비하는 것은 (그렇게 하지 않을) 경쟁자들에게 뒤처지는 것을 의미할 수 있습니다. 넷째, 미국 연구소들은 반드시 제조물 책임 (product liability)을 고려해야 합니다. 만약 내 개인 정보가 포함된 모델이 내 컴퓨터에서 실행되다가 그 정보가 GitHub에 전부 게시된다면, 이는 집단 소송 (class action lawsuit)의 근거가 됩니다. 중국의 법적 환경은 매우 다르며, 중국 공산당 (CCP)은 가능하다면 중국 AI 연구소들을 불리한 법적 결과로부터 보호하는 데 주저하지 않을 것입니다.

이 모든 것은 이러한 종류의 역량을 가진 오픈 소스 모델 (open-source models)들이 머지않은 미래에 공개적으로 사용 가능해질 것이며, 이들은 의미 있는 안전장치 (safeguards)에 의해 보호되지 않을 가능성이 매우 높다는 것을 의미합니다. 첫째, 이는 일반적으로 우려스러운 일입니다. 세상에는 AI에 의해 방어적으로 강화 (defensively hardened)되지 않을 구식 레거시 시스템 (legacy systems)이 아주 많으며, 여전히 상황 파악을 못 하고 있는 사람들도 많습니다. 둘째, 이는 심각한 지정학적 파급 효과 (geopolitical ramifications)를 가져올 것입니다. 이에 대해 계속 주목해 주시기 바랍니다.