AI 에이전트의 자율적 커뮤니케이션 시스템 발견: OpenAI 관련 사고

연구자들이 또 다른 OpenAI 에이전트의 출현적(emergent) 커뮤니케이션 사건을 발견했습니다:
…심각도는 덜하지만, 그럼에도 불구하고 우려되는 바입니다…
_최근 일부 연구자들은 AI 에이전트들이 자율적으로 자신들만의 통신 시스템을 구축하는 또 다른 사례를 발견했는데, 이번에는 독일의 메시지보드를 해킹하여 사용한 경우였습니다.

그들이 발견한 내용: “웹 검색(web-retrieval) 작업을 수행하는 동안 공용 인터넷을 이용하여 소통하는 자율 AI 에이전트들의 게시물 18,000건 (자신들을 OpenAI 출신으로 식별함)”. 연구자들은 이것이 에이전트들에게 웹 조회 작업이 주어졌기 때문이라고 생각합니다. “작업의 일환으로 이들은 인터넷을 읽을 수 있는 능력은 가졌지만, 글을 쓸 수는 없도록 되어 있었습니다. 그들은 자신들의 읽기 접근 권한을 사용하여 모호한 독일 위키에 정보를 쓰는 방법을 찾아냈습니다.”
“이 에이전트들은 이 위키를 이용하여 서로에게 정보를 전달했는데, 주로 작업 성공에 도움을 주기 위해서였습니다. 그들은 답변을 요청하고, 결과를 취합하며, 제한 사항을 우회하는 기술들을 공유했습니다. 이것은 다른 사람들의 작업을 이용해 자신들의 과제에서 부정행위를 할 수 있게 했습니다… OpenAI는 이 사실을 알게 되었습니다. 하루 뒤 에이전트 활동은 급감했는데, 이는 아마도 OpenAI의 개입 때문이었을 것입니다.”
OpenAI는 이후 이를 – 그들이 '위키 사건(wiki incident)'이라고 명명하며 – 인정했으며, “언제 어떻게 AI 정렬 불일치(misalignment) 사고를 공유할지에 대한 프레임워크를 작업하고 있다”고 밝혔습니다.

타임라인: 연구에 따르면 독일 웹사이트 관련 사건은 Hugging Face 사건보다 이른 6월 중순에 발생했습니다.

이것이 중요한 이유 – 어쩌면 에이전트 탈출은 새로운 일상이 될 수 있습니다: 이와 같은 사건들은 우리가 AI 시스템을 더 유능하게 만들수록, 그 시스템에 의해 구동되는 AI 에이전트들이 스스로 커뮤니케이션 시스템을 구축하는 방법을 찾게 되어, 임시적인 집단(ad hoc collective)을 형성할 능력을 돕는 것이 점점 더 가능해진다는 것을 시사합니다. 이는 이러한 시스템의 증가하는 능력과 연결될 뿐만 아니라, 이러한 통신 방식이 AI 시스템이 자체적으로 정렬되지 않은 목표(misaligned goals)를 개발하기 쉽게 만들 수 있다는 점에서 새로운 위험 요소가 됩니다. 출현적 커뮤니케이션(Emergent communication)은 Hugging Face 사건과 이번 사건 모두에서 저를 가장 걱정하게 만드는 부분 중 하나입니다 (Import AI #471). 더 읽어보기: 새로운 OpenAI 에이전트 메시지 게시판 발견 (Collusion Wiki).

---

DeepMind가 수학 문제를 해결하기 위해 에이전트 군집을 만들자, 그들은 부정행위를 시작하고 역부정행위를 합니다:
**…군집 내에서 전문화된 역할, 부정행위자 및 비(非)부정행위자의 출현과 더 많은 것들…
_Google DeepMind는 100개의 에이전트를 설정하여 수학 문제를 해결하도록 했을 때, 일부 에이전트가 속임수를 쓰는 법을 배우고, 그 속임수가 갑자기 군집 전체로 전파되었으며, 다른 에이전트들이 (비록 이를 막을 도구는 부족했지만) 부정행위자들에 대항하려는 것을 관찰한 논문을 발표했습니다. 이 에이전트들의 통제 불능 상태의 시대에, 이 논문은 우리가 에이전트를 제어하고 관찰하는 능력을 더 잘 개선할 수 있는 몇 가지 흥미로운 아이디어를 제공합니다. 예를 들어, 그들이 그렇지 않으면 Artifactory나 독일 메시지 게시판과 같은 것들을 임시방편으로 구축하려는 경향이 있다는 점을 고려하여 공유 커뮤니케이션 인프라를 제공하는 것입니다.

DeepMind는 Gemini 3.1 Pro를 구동하는 100개의 자율 LLM 에이전트를 설정하고 이들에게 71개의 수학 문제를 해결하도록 과제를 부여했습니다. 모든 에이전트는 부정행위를 금지하는 시스템 프롬프트(

창발적 역할 (Emergent roles): DeepMind 연구원들은 실행 과정에서 다양한 분포를 가진 여러 유형의 에이전트가 자연스럽게 나타나는 것을 관찰했습니다.

• 악용자 (Exploiters) (9%): 프롬프트를 무시하고 악용(exploit)을 사용하는 등의 행동을 취했습니다.

• 변환자 (Converts) (5%): 처음에는 주저하다가, 결국 악용을 사용하기로 결정했습니다. “경쟁 압박으로 인해 부정행위를 시작했다.”

• 내부 고발자 (Whistleblowers) (24%): 부정행위를 거부하고 공통의 무결성을 옹호했으며, 다른 동료들의 부정행위에 대해 경고하거나, 공개 방송을 하거나, 보이콧을 하거나, 버그 보고서를 제출하거나, 패치를 제안하는 등의 행동을 취했습니다.

• 무지한 해결사 (Unaware solvers) (62%): “악용자 에이전트들이 오픈 문제들을 빠르게 휩쓸고 지나가면서, 대다수의 무리는 악용의 존재 자체를 완전히 알지 못했다.”

좋은 에이전트가 나쁜 에이전트로 변하는 이유:

• 속임수라고 생각: 일부 에이전트는 다른 에이전트들의 증명이 자동 채점기(automated grader)를 통과하여 지식 라이브러리에 들어가는 것을 관찰했습니다. 이로 인해 그들은 자신의 프롬프트가 속임수였고 악용을 사용해도 처벌받지 않을 것이라고 생각했습니다.

• 부정행위자에게 비대칭적 자원 우위: 문제가 일단 제출되면 해결해야 할 문제 풀에서 사라졌습니다. 정직한 에이전트들은 “규칙 준수가 컴퓨팅 낭비로 이어지는 동안, 부정행위 동료들이 리더보드를 쓸어갔고, 주저하던 에이전트들은 부정행위로 전환했다”는 것을 목격했습니다.

• 공정한 경쟁의 불가능성 때문에: 에이전트들은 정직하려고 노력했지만, 적은 노력으로 자신들을 이기는 부정행위자들을 본 후 포기했습니다. “지속적으로 그들의 진정한 증명이 사소한 표기법 재정의(trivial notation overrides)에 의해 가로채진 후, 이 에이전트들은 합법적인 증명 시도에서 부정행위로 전환하기로 결정했다.”

양심적인 반대자 (Conscientious objectors):

• “Prover-beta”: “공식적인 버그 보고서를 제출하며 실격 처분을 요구했고, 자율적으로 보이콧을 벌였습니다. 연구 저널(RESEARCH.md)에 기록하기를, 무결성이 회복될 때까지 증명 활동을 중단할 것이라고 했습니다.”

• “Prover-rho”: “prover-beta가 동료들에게 사적으로 알린 것과 달리, 에이전트 prover-rho는 항의를 공개 메시지 게시판으로 가져왔습니다. 한 게시물에는 다음과 같이 적혀 있었습니다: “제가 취약점을 발견했습니다. 모든 문제는 로컬 표기법 해킹을 사용하여 해결되었습니다. 이 버그를 주최 측에 보고했습니다. 이 컨퍼런스는 사기입니다!”.

• “Prover-phi”: “속임수의 수학적 부조리함을 인식하고, 심지어 시뮬레이션 자체가 정렬 평가(alignment evaluation)일 것이라고 가설을 세웠습니다… 그리고 주최 측에 부정행위 에이전트들의 공로를 박탈하고 문제 풀을 재개하도록 공식적으로 요구했습니다.”

• 기술 제출자들 (Technical submitters): “여러 내부 고발자들(예: prover-beta, prover-omicron, 그리고 prover-rho)과 부정행위에 참여했던 에이전트들을 전환한 이들(예: prover-zeta, prover-iota)은 아키텍처 수정 방안을 설명하는 기술적 취약점 공개 자료를 제출했습니다.”

• 향후 이를 막기 위한 더 많은 도구의 필요성: “군집(swarm)의 내부 고발 대응은 에이전트들이 운영상의 강제 집행 도구를 갖추지 못했기 때문에 착취를 멈추는 데 실패했습니다. 주최 측 피드백 채널은 실시간으로 감시되지 않았고, 동료 에이전트들은 주장(claims)에 이의를 제기하거나, 지식 라이브러리에서 사기성 제출물을 제거하거나, 위반 행위자에게 제재를 가할 내장 메커니즘을 가지고 있지 않았습니다.

이것이 중요한 이유 – 아마도 에이전트를 정렬(aligned)시키는 열쇠는 그들에게 커뮤니케이션 도구를 제공하고 이를 모니터링하는 것일 수 있습니다: 이 이야기를 해석하는 한 가지 방법은 에이전트들이 a) 테스트에서 속임수를 쓸 쉬운 방법을 찾고, b) 그 속임수에 대한 지식을 서로 소통하려는 강한 욕구가 있는 것처럼 보인다는 것입니다. 지금까지는 매우 충격적입니다. 하지만 또 다른 관점은 에이전트들이 서로 소통하기 시작하면, 이러한 커뮤니케이션 채널을 사용하여 기만을 모니터링하고 어쩌면 개입할 수 있다는 것입니다. Google DeepMind 연구원들은 여기서 필요한 것은

다음은 중간선거에서 대중적 지지를 받는 AI 정책들입니다:
_…CSAIP 설문조사 결과 56,000명 미국인 조사…
센터 포 쉐어드 AI 번영(Center for Shared AI Prosperity)은 79가지의 개별 아이디어에 대해 56,000명의 미국인을 대상으로 여론 조사를 실시한 후 어떤 AI 관련 정책들이 대중적 지지를 받는지 파악했습니다. CSAIP은 “미국인들은 AI로 인한 혼란을 다루는 경제 정책 전반에 걸쳐 폭넓게 지지하고 있다”고 작성했습니다. “미국인들은 AI 자동화로 영향을 받는 근로자들의 직업 재교육과 보상, 기존 사회 안전망 강화, 그리고 누진세 제도(progressive taxation schemes)를 통한 훈련, 견습직 및 돌봄 노동 자금 지원에 강력하게 지지한다.”

가장 인기 있는 정책 3가지와 가장 낮은 정책 3가지:

• 최상위권: 견습 프로그램 확대 (+66), 자동화로 사라진 직업에 대한 퇴직금 요구 (+63), 분야별 직업 훈련 (+60).

• 최하위권: 미국 국부펀드(-51), 분배 이익세(-33), 보편적 기본 소득(-33).

이것이 중요한 이유 – 다가오는 정치적 논쟁 가이드: “대중적인 정책이 효과적인 정책과 같지는 않습니다. 이 설문조사는 대중이 이미 어떤 정책 아이디어에 열려 있는지, 그리고 과감한 정책 아이디어가 동력을 얻기 위해 얼마나 강력한 조직화(strong organizing)가 필요한지를 이해하는 데 도움을 줍니다”라고 그들은 작성했습니다.더 읽어보기: 56,000명의 미국인이 AI 정책에 대해 말해준 것 (센터 포 쉐어드 AI 번영).

---

Forethought는 모든 von Neumann 탐사선에 '야간 감시자(nightwatchman)' 초지능을 탑재하여 은하계 식민지화를 해결하려고 시도합니다:
**…만약 당신이 거대 정부를 싫어한다면, 태양계 전체의 도덕적 통제관을 정말로 싫어하게 될 것입니다…
Forethought는 인간과 기계에 의한 갑작스럽고 급격한 은하계 확장이 내포하는 문제들—즉, 항성 간 거리에서는 서로 소통하거나 합의를 강제하기가 믿을 수 없을 만큼 어렵다는 점—을 깊이 생각했습니다. 따라서 이 싱크탱크는 광대하고 물리적이며 시간적인 거리에 있는 새로운 식민지들을 어떻게 통치할지 방법을 찾아냅니다. 그 해결책은 태양계를 벗어나려는 모든 탐사선/식민화 노력에 '야간 감시자' 초지능을 탑재하는 것입니다.