GPTNT는 협동 게임인 "Keep Talking and Nobody Explodes"를 기반으로 한 새로운 AI 벤치마크 (benchmark)입니다. 두 명의 에이전트 (agent)가 협력해야 합니다. 한 명은 폭탄을 보고, 다른 한 명은 매뉴얼을 가지고 있습니다. 서로 상대방의 정보는 볼 수 없습니다. 이들은 시간이 다 되기 전에 폭탄을 해체하기 위해 소통해야 합니다.

결과: 오픈 소스든 폐쇄형 소스든 그 어떤 AI 모델도 실시간 압박 속에서 단 하나의 폭탄도 성공적으로 해체하지 못했습니다. 인간 플레이어들은 이를 일상적으로 해냅니다.

표준 벤치마크가 이를 놓치는 이유

전형적인 벤치마크 (benchmarks) 방식은 모델에게 문제를 주고 정답을 확인합니다. 반면 GPTNT는 다음을 요구합니다:

• 실시간 압박 (Real-time pressure): 타이머가 작동함
• 정보 비대칭 (Information asymmetry): 각 에이전트 (agent)가 부분적인 정보만을 가짐
• 협업 의존성 (Collaborative dependency): 개별 지능만으로는 불충분함

규칙은 무작위로 설정되어 정답을 암기하는 것이 불가능합니다. 모델은 실시간으로 진정성 있게 소통하고 추론해야 합니다.

근본 원인

LLM (Large Language Models)은 단일 단계의 좋은 응답을 최적화하도록 설계되었습니다. 실시간 협업에는 다음이 필요합니다:

1. 언제 말하고 언제 기다릴지 아는 것
2. 파트너의 오해로부터 회복하는 것
3. 불완전한 정보 하에서 결정하는 것
4. 시간 압박 속에서의 일관성 유지

이 중 표준 LLM 학습에서 자연스럽게 최적화되는 것은 없습니다.

이것이 멀티 에이전트 시스템 (Multi-Agent Systems)에 의미하는 바

멀티 에이전트 시스템 (Multi-agent systems)은 압박이 낮고, 긴 호흡을 가지며, 완전한 정보가 주어지는 시나리오에서는 잘 작동합니다.

하지만 압박이 높고, 실시간이며, 정보가 비대칭적인 시나리오에서는 실패합니다.

실제 배포 컨텍스트 (deployment context)에 맞춰 아키텍처 (architecture)를 설계하십시오.

출처: AI Daily Digest, 2026년 7월 1일

이중 언어 버전은 wdsega.github.io에서 확인할 수 있습니다.