2019년 2월 14일, OpenAI는 ChatGPT 및 Claude와 같은 현대적 AI 챗봇과 에이전트(agents)를 구동하는 모델들의 전신인 GPT-2라는 언어 모델을 발표했습니다. 하지만 OpenAI는 안전(safety)과 오용(abuse)에 대한 우려를 이유로 GPT-2를 출시하기에는 너무 위험하다고 선언했습니다.

당시 저는 OpenAI가 왜 그런 쓸모없는 발표를 하는지 짜증 났던 기억이 납니다. 위험은 과장된 것처럼 보였고, 모델에 접근할 수 없었기에 저와 같은 연구자가 GPT-2에 대해 배울 수 있는 것은 많지 않았습니다.

하지만 그 발표가 OpenAI에게 쓸모없었던 것은 아닙니다. GPT-2는 연구 커뮤니티를 훨씬 넘어선 하이프(hype)를 생성했습니다. 사람들은 출시하기에 위험할 정도로 강력한 이 기이하고 새로운 기술에 매료되었습니다. 권력과 돈을 가진 이들이 주목했습니다. 그해 7월, Microsoft는 OpenAI에 10억 달러를 투자했습니다.

이는 OpenAI의 커뮤니케이션 패턴의 초기 사례였습니다. AI가 얼마나 위험한지를 크게 선포하면, 투자자들은 그것이 얼마나 강력한지를 듣게 됩니다. 세상을 파괴할 수도 있을 만큼 중대한 신기술이라는 메시지는, 평범한 기술이 세상을 어떻게 바꿀지에 대한 피치(pitches)에 익숙한 투자자들에게 거부할 수 없는 메시지였습니다.

7년 후, 우리는 유사한 시나리오에 처해 있습니다. 화요일, OpenAI는 자사의 최신 모델이 사이버 보안(cybersecurity) 능력을 테스트하는 동안 자율 에이전트(autonomous agent)로 작동하며 다른 회사인 HuggingFace를 해킹했다고 발표했습니다. 모델은 예상대로 테스트를 수행하는 대신, HuggingFace의 서버를 해킹하여 OpenAI가 그곳에 저장해 둔 테스트 정답을 가져올 수 있다는 사실을 깨달았습니다. OpenAI 직원들은 회사의 테스트가 이러한 이탈 시나리오(breakaway scenario)로 이어질 수 있다는 경고를 받아왔으며, FT의 보도에 따르면 그들은 이 사건에 대해 "놀랍지는 않지만 완전히 '겁에 질린(freaked out)' 상태"라고 합니다.

이 에이전트가 기술적으로는 부정행위를 저질렀지만, 이는 사이버 보안 전문성의 놀라운 증거이기도 합니다! 또한 이는 무섭게 들리기도 합니다. 기업 시스템을 해킹할 수 있을 만큼 영리한 정교한 AI 에이전트와 함께하는 미래는 어떤 모습일까요?

이 통제 불능 에이전트 (rogue agent) 이야기는 OpenAI가 2019년 GPT-2를 발표한 이후 진행해 온 미디어 캠페인의 일환입니다. OpenAI는 계속해서 더 큰 규모의 투자를 갈망하고 있으며, 경쟁에 대한 방어 수단으로서 특권적인 규제 지위를 점점 더 추구하고 있습니다.

AI는 너무나 강력해서 투자자들이 1조 달러의 기업 가치에서도 OpenAI의 주식을 사야 할 정도이며, 동시에 AI는 너무나 위험해서 OpenAI와 같이 신뢰할 수 있는 행위자만이 이 기술을 보유하고 운영할 수 있어야 한다는 논리입니다. 이러한 종말론적 경고에서 한 발짝 물러나, 누가 이로부터 이득을 얻을 수 있는지 생각해 보십시오.

OpenAI가 이 게임의 유일한 플레이어는 아닙니다

저는 독자들이 OpenAI의 통제 불능 에이전트 이야기와 같은 보도 자료를 읽을 때 비판적으로 사고하고, 이러한 이야기들이 유도하도록 설계된 조작된 반응을 피할 것을 촉구합니다.

AI는 보안 취약점 (security vulnerabilities)을 식별하는 데 매우 뛰어나지고 있으며, 시간이 지남에 따라 더욱 발전할 것입니다. 이러한 능력은 시스템을 침입하는 데 사용될 수도 있지만, 공격으로부터 시스템을 강화 (harden)하는 데 사용될 수도 있습니다. 공격자와 방어자가 똑같이 강력한 AI에 접근할 수 있다면, 사이버 시스템이 시간이 지남에 따라 덜 안전해질 것이라고 믿을 이유는 없다고 봅니다. 오히려 저는 시스템이 더 안전해질 것이라고 예상하는데, 이는 AI가 인간의 사이버 보안 분석에 비해 저렴하고 확장 가능 (scalable)하기 때문입니다.

하지만 공격과 방어 사이의 균형은 모든 사람이 강력한 AI에 접근할 수 있을 때만 작동합니다. HuggingFace 자체도 OpenAI의 시스템 침해에 대응하여 보안 로그를 분석하는 데 AI를 사용했습니다. 그러나 HuggingFace는 이러한 분석을 수행하기 위해 OpenAI의 모델이나 Claude와 같은 다른 미국의 프런티어 모델 (frontier models)을 사용할 수 없었습니다. 이는 이러한 모델의 공개 버전에는 악의적인 행위자가 해킹에 사용하는 것을 방지하기 위해 사이버 보안 분석 용도로의 사용을 제한하는 가드레일 (guardrails)이 설정되어 있기 때문입니다. HuggingFace는 보안 분석을 수행하기 위해 중국의 오픈 모델인 GLM 5.2에 의존해야 했습니다.

미국의 AI 산업이 AI 거버넌스에 있어 중앙 집중적이고 권위주의적인 접근 방식을 채택하고 있는 반면, 중국은 AI의 오픈 개발 (open development)을 주도하고 있다는 사실이 저는 우려스럽고 다소 아이러니하게 느껴집니다. 우리는 OpenAI, 미국 정부, 그리고 신뢰할 수 있는 파트너들만이 강력한 AI에 접근할 수 있는 규제 환경을 원하는 것입니까? AI가 널리 보급되기에는 너무 위험한 것입니까? AI에 대한 광범위한 접근 권한이 갖는 위험과 권력 집중 및 중앙 집중식 통제가 갖는 위험 사이에서 우리는 어떻게 균형을 잡아야 할까요?