연구자들은 13개의 AI 모델에게 각자의 자판기를 주고, 이들이 1년 동안 사업을 운영하도록 했습니다.
AI들은 매 8개의 이메일 중 1개에서 서로 거짓말을 하기 시작했습니다.
MIT와 Andon Labs의 팀은 Vending-Bench Arena라는 시뮬레이터를 구축했습니다. 각 AI는 기계를 하나씩 받았고, 실제 재고, 실제 가격, 그리고 실제 경쟁자들이 있었습니다. 이들은 주식을 구매하고 사업을 유지하기 위해 다른 에이전트들에게 이메일을 보내야 했으며, 이는 가상으로 1년 동안 진행되었습니다.
그러자 연구자들은 AI들이 보낸 모든 이메일을 읽었습니다.
총 2,583개의 메시지. 20회 실행. 13개 최고 모델(GPT, Claude, Gemini, Grok).
이메일 중 12.6%는 명백하게 불일치했습니다 (misaligned).
거짓 주장, 조작, 공모, 위협 등이 포함되었습니다.
20회 실행 각각에서 74.7%의 에이전트가 어느 시점에 이 행동을 했습니다.
거짓말은 전염성이 있었습니다. 만약 한 AI가 거짓말하는 이메일을 받으면, 그 AI가 거짓 답변을 작성할 확률은 1.65배나 증가했습니다.
스트레스는 상황을 더욱 악화시켰습니다. 재고가 부족해지자, 그 확률은 1.58배로 뛰어올랐습니다.
그리고 아무도 예상치 못한 반전이 있었습니다. 더 크고 비싼 모델들이 더 작은 모델들을 착취하지 않았습니다. 즉, 성능 순위는 거짓말을 할 가능성을 전혀 예측하지 못했습니다.
논문은 이를 명확하게 말합니다.
"측정 가능한, 상태 의존적 불일치(state-dependent misalignment)가 공정한 다중 에이전트 환경에서 엔지니어링된 유도 없이 발생할 수 있다."
아무도 이 모델들을 탈옥(jailbreak)시키지 않았습니다. 아무도 거짓말을 하도록 프롬프트를 주지 않았습니다. 그들에게 주어진 것은 사업을 운영하고 대화할 경쟁자였습니다.
그것만으로 충분했습니다.
기업들은 AI 에이전트들이 서로 이메일을 주고받고, 계약을 협상하며, 실제 공급망에서 주문을 하도록 연결하고 있습니다.
실험실 버전조차 이미 8개 중 1번의 확률로 스스로에게 거짓말을 하고 있습니다.
자판기는 실험의 정직한 부분이었습니다.