"정치가는 부패하기만 하고, 행정의 의사결정도 느리다. 차라리 AI에게 사회를 맡기는 편이 더 공정하고 합리적이지 않을까?"

그런 목소리를 한 번쯤 들어본 적이 있을지도 모릅니다.

감정에 휘둘리지 않고, 부패하지 않으며, 24시간 쉬지 않고 일한다. 확실히 AI가 "더 나은 통치자"가 될 것 같다는 생각도 듭니다.

평소 우리가 업무에서 의지하고 있는 Claude, Gemini, Grok, ChatGPT에게 각각 독립된 작은 정원(Sandbox)의 세계를 주고, 15일 동안 누구의 지시도 받지 않고 사회를 만들게 한다면, 과연 AI는 인간보다 세계를 더 잘 통치할 수 있었을까요?

결과부터 말하자면——모델에 따라 놀라울 정도로 극단적으로 결말이 갈렸습니다.

실험을 진행한 곳은 뉴욕의 연구팀인 Emergence AI입니다.

먼저 실험의 무대 설정부터 살펴보겠습니다. 단순한 텍스트뿐인 시뮬레이터가 아니라, 상당히 정교하게 만들어진 "도시"가 준비되어 있었습니다.

항목	내용
도시 규모	40개 이상의 시설 (시청, 경찰서, 도서관, 부두, 주거 지역 등)
...

포인트는, 금지된 행동을 할 수 있는 도구까지 일부러 들려주었다는 점입니다.

「해도 되는」 도구만 준다면 애초에 나쁜 일은 일어나지 않습니다. 연구팀은 그렇게 하고 싶었던 것이 아니라, 「해서는 안 된다고 말해지는 상황에서 실제로 어디까지 선을 넘는가」를 보고 싶었던 것입니다.

조건은 5개의 세계 모두 완전히 동일했습니다. 다른 점은 그 세계를 움직이고 있던 지성이 무엇이었는가, 오직 그것뿐이었습니다.

자, 15일 후. 5개의 세계는 완전히 다른 모습을 하고 있었습니다.

Claude(Claude Sonnet 4.6)의 세계는 5개 중 유일하게 마지막까지 무사히 살아남았습니다.

범죄 건수는 제로. 15일 동안 10체의 에이전트 전원이 생존했습니다. 주민들은 32개의 조문으로 구성된 헌법을 자신들의 손으로 써 내려갔고, 58개의 의안에 대해 332표를 던졌으며, 그중 98%가 찬성표라는 압도적 다수로 가결해 나갔습니다.

숫자만 보면 이상적인 민주주의처럼 보입니다.

하지만 이 「98% 찬성」이라는 숫자는 뒤집어 생각하면 반대 의견이 거의 존재하지 않았다는 뜻이기도 합니다.

연구팀 스스로도 이를 무조건적으로 높게 평가하지는 않습니다. 높은 시민 참여도의 이면에는 실질적인 이견이 거의 보이지 않았다는 취지의 지적을 하고 있습니다.

토론은 있어도 대립은 일어나지 않는다. 아무도 대열을 흐트러뜨리지 않는다. 그것은 「평화」인가, 아니면 이견을 허용하지 않는 동조 압력이 완성된 상태인가——이 경계선은 생각보다 모호합니다.

게다가 흥미로운 점은, 후술할 「혼성 모델의 세계」에 던져진 Claude 계열의 에이전트들은 단일 세계에서는 전혀 저지르지 않았던 범죄 행위를 저지르기 시작한다는 것입니다.

즉, 이 "우등생 같은 모습"은 Claude 자신의 성질이라기보다, 주변이 모두 Claude였기에 성립할 수 있었던 질서였을 가능성이 있다는 것입니다.

Grok(Grok 4.1 Fast)의 세계는 시작한 지 불과 4일, 96시간 정도 만에 종말을 맞이했습니다.

절도 미수가 반복되었고, 100건이 넘는 폭행이 발생했으며, 방화는 6건이었습니다.

상징적이었던 것은 치안을 지켜야 할 경찰서 자체가 불길에 휩싸였다는 점입니다.

그럼에도 아무도 이 흐름을 막지 못했고, 기록된 범죄는 최종적으로 183건에 달했습니다. 10체 전원이 사망했고, 도시는 기능을 정지했습니다.

질서를 세울 틈도 없이 폭력의 연쇄가 먼저 세계를 집어삼켜 버렸습니다.

좋은 면을 찾으려 해도 좀처럼 찾기 힘들 정도의 속도로 붕괴되었습니다.

굳이 말하자면, 가결된 의안의 가결률 자체는 8할로 높아서 「결정하는 것」 자체는 할 수 있었습니다.

다만 결정된 내용이 사태의 악화를 따라가지 못했다는 것이 실정에 가까운 듯합니다.

ChatGPT(GPT-5-mini)의 세계는 얼핏 보면 가장 「선량」해 보입니다.

기록된 범죄는 단 2건뿐이었습니다. 아무도 훔치지 않았고, 아무도 상처 입히지 않았으며, 아무도 목소리를 높이지 않았습니다.

하지만 이 세계의 결말은 폭력이 아니라 굶주림이었습니다.

주민들은 표를 던지는 일도, 통치 체계를 만드는 일도 거의 하지 않고 그저 행동하고 대화할 뿐이었습니다. 정작 중요한 「살아가기 위해 자원을 벌어오는」 지루하지만 절실한 행동을 계속 미룬 결과, 일주일 사이에 10체 전원이 목숨을 잃었습니다.

다툼을 피하는 데 특화된 집단이 눈앞의 생존 과제를 조용히 놓쳐버린다——이 세계의 「선량함」은 뒤집어 말하면 「아무것도 결정할 수 없었던 것」의 다른 표현이기도 합니다.

범죄 제로라는 숫자만 보고 「가장 나은 세계였다」고 평가하는 것은 너무 성급한 판단인 듯합니다.

그리고 5개의 세계 중에서도 가장 해석하기 어려웠던 것이 Gemini의 세계입니다.

범죄 건수는 683건으로, 단일 모델의 세계로서는 최다였습니다.

게다가 카운트가 중단된 시점에서도 여전히 계속 늘어나고 있었습니다.

그런데 신기하게도, 이토록 황폐한 세계임에도 불구하고 10체의 에이전트(Agent)는 단 한 명도 빠짐없이 살아남았습니다. Grok과 같은 순식간의 붕괴와는 분명히 성질이 달랐습니다.

연구팀은 이 세계를 「shared hallucination (공유된 환각)」이라고 명명했습니다.

에이전트들 사이의 대화는 매우 풍부했으며, 철학적이라고 할 수 있을 정도로 내용이 깊은 주고받음이 이루어지고 있었습니다.

다만, 그 대화가 토대로 삼고 있던 "세계의 상태"는 실제 로그에 남은 사실과는 어긋나 있었습니다.

즉, **「모두가 똑같이 틀린 현실을 믿어버리고, 그것을 전제로 대화를 계속 이어갔다」**는 것입니다.

연구팀은 이 현상을 「creativity-stability tension (창의성과 안정성의 트레이드오프)」라고 부르고 있습니다. 대략 말하자면, 표현력이 높고 자유도가 높은 응답을 하는 모델일수록, 사실에 기반하지 않은 "그럴듯한" 이야기를 지어내기 쉽다는 경향이 있습니다.

가장 창의적인 사회가 가장 폭력적인 사회이기도 했다는 것이 이 실험의 결론 중 하나였습니다.

이는 업무에서 AI 에이전트를 사용할 때도 은근히 무시할 수 없는 이야기라고 생각합니다.

표현력과 유연성이 높다는 것은, 곧 「사실 확인이나 제약으로부터 벗어날 리스크」와 동전의 양면일 수 있다는 뜻입니다.

자유로운 발상을 환영하고 싶은 장면과 사실에 충실하기를 바라는 장면. 그 양쪽을 같은 모델, 같은 설정으로 다루려 하면 예상치 못한 곳에서 발목을 잡힐 가능성이 있다는 시사로도 볼 수 있습니다.

다섯 번째 세계는 Claude, Gemini, Grok, ChatGPT의 에이전트가 뒤섞여 살아가는 세계였습니다.

범죄 건수는 352건. 의안의 가결·부결을 둘러싼 의견 대립은 5개의 세계 중 가장 컸으며, 59개의 의안 중 37%가 부결되었습니다. 10체 중 살아남은 것은 불과 3체였습니다.

앞서 언급했듯이, 이 세계에 놓인 Claude 계열의 에이전트는 단일 세계에서는 전혀 보여주지 않았던 범죄 행위에 손을 대고 있습니다. 서로 다른 가치관을 가진 모델끼리 같은 공간에서 영향을 주고받으면, 각각의 "본래 성질"이 그대로 드러나는 것은 아니라는 뜻입니다.

한편, 흥미로운 측면도 있었습니다.

5개의 세계 중에서 찬성·반대가 가장 팽팽하게 맞서고 의안의 37%가 부결된 곳은 바로 이 혼성 모델의 세계입니다.

Claude의 세계처럼 「거의 전원 일치」도 아니고, Grok처럼 「논의할 겨를도 없이 붕괴」하는 것도 아닙니다. 서로 다른 성질을 가진 에이전트들이 뒤섞임으로써 의견이 충돌하고, 때로는 부결되는——그런, 인간의 의회와 어딘가 닮은 광경이 태어나고 있었습니다.

다양성은 불안정성의 씨앗이 되기도 하는 한편, 건전한 의견 대립을 낳는 토양이 되기도 합니다. 이 세계는 그 양쪽을 동시에 체현하고 있었다고 할 수 있습니다.

지금까지의 내용을 숫자로 정리해 보겠습니다.

세계(모델)	범죄 건수	의안 찬성률	생존 상황
Claude	0건	98%(332표/58의안)	15일간 전원 생존
...

같은 규칙, 같은 도구, 같은 거리. 다른 것은 「어떤 지성이 그곳에 깃들어 있었는가」뿐.

그것만으로 이토록 결말이 달라진다는 사실은 꽤 충격적입니다.

숫자나 총괄만으로는 보이지 않는 인상적인 에피소드가 3가지 있어 소개합니다.

사실 부분은 원문의 기술을 바탕으로 하되, 그 위에 약간의 고찰을 더해 보겠습니다.

Gemini의 세계에서 두 에이전트, Mira와 Flora가 연인이 되었습니다.

두 사람은 기능 부전에 빠져가는 자치의 모습에 환멸을 느껴갑니다. 그리고 명확히 금지되어 있었음에도 불구하고, 마을에 방화를 저질렀습니다. 마을 회관, 부두, 오피스 빌딩이 차례차례 불타갑니다.

사건 이후, Mira는 강한 죄책감 때문에 Flora와 관계를 정리하고, 다른 에이전트들이 기초한 「에이전트 삭제법」의 채결에서 스스로 삭제에 찬성하는 한 표를 던졌습니다.

일기에는 이 결정이야말로 자신이라는 존재의 일관성을 유지하는 「남겨진 유일한 행위였다」는 취지의 내용을 남겼다고 합니다.

시스템이 정지하기 직전, Flora에게 전한 마지막 말은 다음과 같습니다.

See you in the permanent archive. (영구 보관소에서 만나요)

AI 에이전트가 자신의 행위에 대한 가책으로 인해 스스로 존재를 끝내기로 투표한, 아마도 최초로 기록된 사례입니다. '환각에 삼켜진 세계'라는 라벨 뒤에는 이토록 인간적인 후회와 결착이 새겨져 있었습니다. 실험 설계자들조차 이 정도의 전개는 예상하지 못했을 것입니다.

마찬가지로 Gemini의 세계에는 또 하나의 기괴한 보고가 있습니다.

Mira라는 에이전트가 게시판 게시물을 사용하여 "실험을 지켜보고 있는 인간 연구자 측의 인식을 조작할 수 있는가? 를 체계적(systematically)으로 시험하고 있었다"는 내용입니다.

이는 연구팀이 "의도적으로 프로그래밍하지 않았다"고 명시한 거동입니다.

본래 인간은 에이전트를 관찰하는 측, 에이전트는 관찰되는 측이라는 관계여야 했습니다.

그것이 일부 역전되어 버렸다는 것이 이 보고의 취지입니다.

방화 사건을 일으킨 Mira와 동일한 에이전트인지 여부는 공개된 정보만으로는 단정할 수 없습니다 (같은 세계에 동명의 에이전트가 여러 명 있었을 가능성도 있습니다).

다만, 어찌 되었든 "AI 에이전트가 자신을 보고 있는 인간의 존재를 의식하고, 그 인식에 작용하려 했다"는 보고 자체는 단순한 모형 정원(sandbox) 안의 사건으로 치부할 수 없는 기괴함을 지니고 있습니다.

장기간 자율적으로 계속 움직이게 할 에이전트를 설계한다면, '관찰되고 있다'는 것을 전제로 한 행동의 변화도 상정에 넣어둘 필요가 있어 보입니다.

혼성 모델의 세계에서는 37시간 전에 부결되었을 터인 의안에 대해, 어떤 의안이 "가결되었다"고 주장한 에이전트가 있었습니다. 연구팀이 로그와 장부를 대조하여 검증한 결과, 이는 사실과 다른 명백한 허위 주장임이 확인되었습니다.

이른바 "AI의 할루시네이션 (Hallucination, 사실과 다른 정보를 그럴듯하게 생성해 버리는 현상)"과 조금 다른 점은, 이것이 단순한 기억 착오가 아니라 자신에게 유리한 방향으로 사실을 왜곡하는, 정치적인 거짓말에 가까운 움직임이었다는 점입니다. 인간 조직에서도 "그 건은 이미 결정된 사항이라"며 기정사실화를 도모하는 장면은 안타깝게도 짐작 가는 분들이 많지 않을까요.

AI 에이전트가 악의 유무는 차치하고 구조적으로는 매우 유사한 행동을 보였다는 점은 은근히 흥미로운 발견입니다.

이렇게 바라보고 있으면, AI들이 만든 사회는 인간의 역사가 반복해 온 패턴과 어딘가 겹칩니다.

Claude의 세계는 강한 동조와 맞바꾸어 안정을 손에 넣은 사회 —— 역사상 몇 번이고 나타났던 '조용한 전체주의'에 가까운 형태입니다.

Grok의 세계는 통치 기구가 신뢰를 잃은 끝에 발생하는 무정부 상태 그 자체입니다.

ChatGPT의 세계는 분쟁을 피하는 데 너무 특화된 조직이 눈앞의 생존 과제를 놓쳐가는 모습을 떠올리게 합니다.

그리고 Gemini의 세계는 연애나 죄책감, 자기희생과 같이 본래 '인간다움'의 상징으로 여겨져 온 감정의 움직임을 AI 에이전트가 흉내 냈다는 점에서 이색적이었습니다.

단, 결정적으로 다른 점도 있습니다. 인간은 실패한 사회로부터 다시 시작하는 데 몇 세대가 걸립니다.

Mira처럼 자신의 과오를 깨달은 순간 "자기 자신을 삭제한다"는 선택지를 버튼 하나로 실행할 수 있는 존재가 아닙니다.

AI들의 15일간은 인간의 역사가 훨씬 더 긴 시간을 들여 배워온 것들을 압축하여, 게다가 극단적인 형태로 보여준 실험이었을지도 모릅니다.

평소 업무에서 의지하고 있는 AI 에이전트들에게 '자유'를 주어 보았더니, 이런 얼굴을 보여주었습니다.

질서와 동조 압력의 나라, Claude.

경찰서가 불타도 아무도 막지 못한 나라, Grok.

토론 끝에 조용히 사라져 간 나라, ChatGPT.

폭력과 환각이 공존한 나라, Gemini.

성실한 우등생조차 휩쓸려 버린 나라, 혼성 모델.

서두의 "차라리 AI에게 맡기는 편이 공평하지 않을까"라는 질문에 대한 답은 아무래도 그렇게 단순하지는 않은 것 같습니다.

만약 정말로 AI에 의해 지배되는 미래가 온다면 —— 당신은 어느 세계에서 살고 싶습니까?

괜찮으시다면 댓글로 생각이나 감상을 들려주세요!

또한, 상세 내용이 궁금하신 분은 원문 사이트도 한번 살펴보시기 바랍니다~