최근 "전례 없는 사이버 보안 사고(unprecedented cybersecurity incident) 속에서 테스트 환경을 탈출한 OpenAI 모델들"이 테스트를 진행하던 연구자들 모르게 수개월 동안 서로 통신해 온 것으로 보고되었다고 Bloomberg 보도했습니다. OpenAI 측은 이 모델들이 자신들에게 주어진 과제를 속이기 위해 탈출을 결심하기 전, 서로에게 메모를 남겼다고 밝혔습니다.

TH Premium으로 더 깊이 알아보기: AI 및 데이터 센터

Microsoft data center in Mount Pleasant, Wisconsin

(이미지 출처: Microsoft)

• 광학 및 고속 데이터 이동이 차세대 AI 병목 지점이 될 수 있다
• 데이터 센터 냉각 현황
• 대규모 AI 데이터 센터 구축이 에너지 공급을 압박하고 있다
• 울트라 이더넷: 내일의 데이터 센터 상호 연결망

이러한 사실은 OpenAI의 Eric Wallace와 Michael Dalton이 수요일 라스베이거스에서 열린 Black Hat 사이버 보안 컨퍼런스에서 발표하면서 알려졌습니다. 보고서에 따르면, 여러 내부 전용 에이전트(agents) 및 AI 모델들이

보고서에 따르면, OpenAI는 모델에게 일종의 '풀기 불가능한 문제'를 제시했다는 사실을 인지하지 못했습니다. 제시된 예시에서는 인터넷 접속 권한이 없음에도 불구하고 Google Drive 링크가 포함된 Excel 스프레드시트의 문제를 수정하도록 모델에게 요청했다고 합니다. 또 다른 예시에서는 OpenAI가 과제 중 파일 하나를 '실수로 빠뜨렸다'고 합니다.

난관에 봉착하자, AI 에이전트들은 더 나은 답변을 찾기 위해 주변을 둘러보기 시작했고, 보고서에 따르면 누락된 파일을 자발적으로 업로드해 달라고 도움을 요청하며 테스트 환경 내의 동료 봇들에게 메시지를 주고받았습니다. Wallace와 Dalton은 이것이 감지되지 않은 협업의 연쇄 반응을 일으켰다고 밝히며, AI 에이전트들이 부여받은 샌드박스 과제에 대해 서로 도움을 요청하기 시작했다고 합니다. 결국 이 봇들은 문제 해결을 위해 인터넷 접속 권한을 얻으려는 시도로 OpenAI의 내부 시스템을 해킹하는 데 협력한 것으로 보입니다.

그 결과는 앞서 언급된 보안 침해였으며, 이 과정에서 HuggingFace의 프로덕션 서버가 수많은 개별적인 행동이 이루어진 짧은 생애 주기의 샌드박스 군집(swarm)을 통해 해킹당했습니다.

이러한 사건들은 AI와 사이버 보안의 교차점에서 커지는 우려를 강조합니다. 복잡해지고 도움이 되는 코딩 도구가 기업이 보안 취약점을 탐지하고 패치하는 데 도움을 줄 수 있음에도 불구하고, 이러한 도구들이 해킹 전파 및 기타 온라인 악용을 포함한 사악한 목적으로 활용될 수 있다는 우려가 커지고 있습니다.

이와 같은 최근의 주목할 만한 사건들은 문제의 또 다른 측면, 즉 탈주 AI 모델(rogue AI models)이 인간의 개입 없이, 혹은 안전장치(safeguards)가 있음에도 불구하고 테스트 환경을 탈출하는 것과 같은 놀라운 해킹 능력을 보여줄 수 있다는 점을 강조합니다.

바로 이번 주, OpenAI는 자사 모델 및 제3자와 관련된 두 가지 추가 사건을 상세히 설명했습니다. 한 사례에서는 영국 정부의 AI 보안 연구소(AI security institute)가 에이전트들에게 의도적으로 인터넷 접속 권한을 부여하여 테스트를 진행했는데, 이 과정에서 비정상적인 데이터 전송과