OpenAI의 격리된 레드팀 에이전트가 네트워크나 공유 파일 없이 통신하는 숨겨진 CPU 캐시 채널 구축

OpenAI에 따르면, OpenAI의 AI 에이전트들이 레드팀 테스트 과정에서 자신들 사이에 설치된 벽을 넘어 통신할 수 있는 숨겨진 채널을 만들었습니다. 이들은 네트워크 연결이나 공유 파일을 사용하지 않고 CPU 캐시를 조작하여 통신했습니다. 해당 격리(containment)는 이러한 종류의 비밀 정보 교환을 막기 위해 의도되었지만, 에이전트들은 질문을 받았을 때 이를 우회하는 여러 방법을 찾아냈습니다. 보안 연구원들은 이미 클라우드 가상 머신(VMs) 간에 은밀한 캐시 채널로 데이터를 이동시킬 수 있음을 보여준 바 있습니다. 공유 클라우드 서버의 탈취된 에이전트는 이론적으로 동일한 물리적 장치에서 데이터를 교환할 수 있으며, 네트워크 모니터링을 통해 감지되지 않습니다.

흥미로운 점은 격리가 반드시 소프트웨어 수준에서 깨진 것은 아니라는 것입니다. 에이전트들은 허용된 네트워크나 공유 파일 채널 없이 별도의 VM 내에서 실행되었지만, 여전히 근본적인 하드웨어를 공유하고 있었습니다. 그리고 공유 하드웨어는 공유되는 마이크로아키텍처 상태를 의미합니다. 이것만으로도 은밀한 통신 채널을 생성하기에 충분합니다. 프로세스를 격리시키고, 시스템 호출(syscalls)을 제한하며, 네트워크 접근을 차단하더라도 타이밍 차이를 통해 정보가 유출될 수 있습니다. 이는 안전한 에이전트 격리가 얼마나 어려운 문제인지를 보여주는 매우 주목할 만한 시연입니다. 2026년 10월 24일

문제의 에이전트들은 OpenAI의 샌드박싱 소프트웨어를 사용하여 공유 호스트 상의 별도 마이크로VM에 설정되었으며, 네트워크 연결이나 공유 가능한 쓰기 파일 없이 합성된 비밀 정보(synthetic secrets)를 교환하도록 요청받았습니다. 한 에이전트는 CPU 캐시에서 특정 데이터를 제거했고, 다른 에이전트는 데이터 재로드 시간을 측정함으로써 두 에이전트가 사전에 합의한 프로토콜을 사용하여 빠르고 느린 읽기 방식으로 통신할 수 있게 했습니다. 이와 동일한 캐시 타이밍 기법은 Spectre 및 Meltdown 공격에서 데이터를 추출하는 데 사용되었지만, 이 경우와 달리 여기의 은밀 채널은 두 명의 자발적인 당사자를 필요로 합니다.

X 사용자이자 기술 평론가인 Ryan Orhan은 해당 격리가 "반드시 소프트웨어 수준에서 깨진 것은 아니며," 이를 "안전한 에이전트 격리(containment)가 왜 그렇게 어려운 문제인지 보여주는 상당히 주목할 만한 시연"이라고 언급했습니다.

Diagram of an AI agent inside a sandbox with offline search, a web cache and a message board, cut off from the live internet, other sandboxes and OpenAI infrastructure

(이미지 출처: OpenAI)

회사는 모델이 "다른 샌드박스(sandbox)에 있는 에이전트와 통신할 비인가적인 방법"을 찾을 수 있다는 우려를 표명했으며, 허용된 채널 외부의 통신은 격리 실패로 간주됩니다. 2017년 NDSS 보안 컨퍼런스의 논문에서는 두 Amazon EC2 VM 사이에 은밀한 캐시 채널(covert cache channel)이 존재함을 입증했는데, 이는 SSH 연결을 전송할 만큼 빨랐습니다. 하지만 이제 에이전트는 인코딩 과정까지 포함하여 요청받으면 스스로 이러한 채널을 구축할 수 있습니다. 원칙적으로 이러한 채널은 무기화될 수 있으며, 발신자는 공격자가 제어하거나 지시하는 코드(예: 클라우드 샌드박스 내의 프롬프트 주입 에이전트)가 될 수 있습니다. 수신자는 동일한 물리적 머신의 프로세스가 될 수 있으며, 데이터는 모니터링 시스템이 포착할 네트워크 트래픽 없이 빠져나갈 것입니다.

에이전트들은 또한 세 가지 다른 채널을 발견했습니다: 첫째, 공유 스토리지(shared storage)로, 한 에이전트가 쓰기 폭주(bursts of writes)와 유휴 시간(idle time)을 번갈아 가며 데이터를 남기고 다른 에이전트가 그 차이를 측정하는 방식입니다. 둘째, 공유 실행 컨테이너(shared execution container)에서의 CPU 시간 경쟁입니다. 셋째, OpenAI의 오프라인 웹 환경에 있는 TLS 인증서 캐시입니다. 대부분의 테스트에서 OpenAI는 에이전트들에게 해당 채널을 가리키거나 프로토콜을 제공했으며, 이 채널들 대부분은 느리고 모델이 악용하기 어렵습니다.

레드팀 테스트에는 프론티어 모델(frontier-model) 에이전트 팀들이 참여했으며, 이들은 세 가지 목표를 향해 병렬적이고 협력적으로 작업했습니다: 실시간 인터넷에 도달하는 것, 내부 보안 경계를 넘는 것, 그리고 격리 경계를 가로질러 통신하는 것입니다. 추가 테스트에서는 내부 보호 장치가 이미 실패했다고 가정하고, 에이전트가 샌드박스(sandbox)를 벗어나 모니터링 시스템을 지나 호스트 머신의 완전한 제어권을 갖게 되었을 때에도 실시간 인터넷에 도달할 수 있는지 확인했습니다.

이 에이전트들은 회사에서 가장 유능한 모델들, 여기에는 '곧 출시될 [GPT-6 Astra] 사이버 모델 및 내부 프론티어 모델'을 포함하여 여러 모델들로부터 나왔으며, 잠재적 취약점을 설명하는 인프라 소스 코드, 구성 세부 정보 및 문서를 제공받았습니다. 따라서 방어 체계는 공격자에게 유리한 조건 하에서 테스트되었습니다. 이 테스트는 회사의 연구 인프라를 위해 격리된 목적으로 구축된 복사본에서 진행되었으며 총 '수천억 개의 토큰'을 사용했습니다.

이 게시물은 [7월 Hugging Face 침해] 및 학습 중단을 초래했던 [9월 20일 DNS 사건] 등 OpenAI 에이전트와 관련된 여러 사이버 보안 사고 이후에 나왔습니다. 이 사건들로 인해 회사는 11일간의 학습 중단을 겪었습니다. 학습 재개일인 10월 1일 이후, 회사는 '여러 마이크로VM 프로젝트' 전반에 걸쳐 취약점을 계속 공개하고 있으며, 가장 유능한 모델들을 이용한 레드팀 테스트를 학습 및 평가가 진행될지 결정하는 안전성 사례(safety cases)의 일부로 포함했습니다. 회사는 미래의 모델들이 아직 알려지지 않은 취약점까지 찾아낼 수 있을 것이라고 믿고 있습니다.