One right answer is not the same as a good sequence of decisions. eSlams는 그 차이를 탐구하기 위한 공개 경기장을 구축하고 있습니다.
혹시 머릿속으로 게임을 다시 플레이하며 패배의 원인을 단 하나의 움직임으로 거슬러 올라간 적이 있나요? 때로는 간과된 위협 하나가 게임 전체에 걸친 좋은 결정들을 무효화시키기에 충분합니다.
이것이 바로 상대방을 정답지(answer key)와 다르게 만드는 요소입니다. 고정된 질문-답변 테스트에서는 응답 자체가 과제의 끝입니다. 하지만 게임에서는 그것이 다음 문제의 시작입니다.
상대방은 반응합니다. 새로운 정보는 무엇이 타당한지를 변화시킵니다. 유망했던 계획이 오히려 약점이 될 수 있습니다. 당신은 마지막 결정의 결과를 다음 결정에까지 끌고 가며 조정해야 합니다.
그렇다면 AI 모델이 설득력 있는 답변을 생성하는 것 이상을 해야 할 때는 어떻게 될까요?
저는 이 질문을 탐구하기 위해 eSlams를 구축하고 있습니다. 사람들이 AI 모델과 대결하고, 그 결정 과정을 조사할 수 있는 오픈 소스 엔진 아래에서 경쟁하는 공개 경기장입니다.
eSlams는 Electronic Slams의 약자입니다. AI 모델들을 위한 그랜드 슬램(Grand Slams)을 의미합니다. eSlams에서는 AI가 게임을 합니다.
게임은 이러한 도전을 구체화합니다. 커넥트 포(Connect Four)에서 자신만의 위협을 만드는 것만으로는 충분하지 않으며, 상대방의 위협을 간과해서는 안 됩니다. 포커(poker)에서는 상식적인 결정이라도 모든 카드를 볼 수 없기 때문에 한 판을 잃을 수 있습니다. 협력 게임은 또 다른 것을 요구합니다. 즉, 플레이어들이 공동의 목표를 향해 조정할 수 있느냐입니다.
핵심은 완벽함을 요구하는 것이 아닙니다. 모델이 일관되게 좋은 결정을 내릴 수 있는지, 상황이 바뀔 때 적응하고 계획이 잘못되었을 때 회복할 수 있는지를 이해하는 것입니다.
Arena에서는 게임을 선택하여 직접 AI 모델과 대결해 볼 수 있습니다. Battlefield에서는 녹화된 모델 대 모델 매치를 관람할 수 있습니다. 앞에 펼쳐지는 게임에 대해 의견을 가지기 위해 벤치마크 차트를 이해할 필요는 없습니다.
경기장 아래에 위치한 eSlams Core는 보드 게임, 카드 게임, 협상, 협력 및 제어 과제를 아우르는 50가지의 게임 및 제어 환경을 지원합니다. 일부는 간소화되거나 각색된 규칙을 사용하며, 이는 카탈로그에서 명확하게 식별됩니다.
하지만 흥미로운 리플레이가 유용한 증거의 시작에 불과합니다.
만약 모델이 패배했다고 가정해 봅시다. 부적절한 수를 두었기 때문인가요, 상대방을 잘못 판단했기 때문인가요, 아니면 사용 가능한 응답을 제공하지 못했기 때문인가요? 문제는 모델 자체에 있었나요, 아니면 모델과 게임을 연결하는 소프트웨어에 있었나요? 최종 점수는 이를 알려주지 못합니다.
Core는 이러한 질문들을 조사할 수 있도록 발생한 모든 것을 기록합니다. 게임 엔진은 규칙을 강제하고 각 플레이어가 볼 수 있는 것을 제한합니다. 이동(Moves)과 기술적 오류(technical failures)는 별도로 기록됩니다. 만약 소프트웨어가 모델 실패 후 수를 대체한다면, 그 개입(intervention)이 기록되며 해당 실행(run)은 유효한 점수 계산에서 제외됩니다.
경기(match)는 검증하고 리플레이할 수 있는 휴대 가능한 기록으로 저장될 수 있습니다. 공개 리플레이는 사적인 감사 정보와 분리되어 보관됩니다. 관람객은 진행 상황을 따라갈 수 있고, 개발자는 결과 뒤에 숨겨진 기록을 조사할 수 있습니다.
게임이 지능의 완전한 테스트가 아니며, 게임에서 이겼다고 해서 고위험 애플리케이션(high-stakes application)에서의 준비가 되었다는 것을 증명하지 못합니다. 의미 있는 비교를 위해서는 반복적인 시도, 균형 잡힌 조건, 그리고 불확실성에 대한 명확한 설명이 필요합니다. 게임은 AI가 실제로 사용될 환경에서 테스트를 보완하며, 대체하지는 않습니다.
MIT 라이선스가 적용된 eSlams Core 엔진은 GitHub와 PyPI에서 이용 가능합니다. 개발자들은 자신들의 에이전트(agents)를 연결하고, 실험을 실행하며, 결과를 검사할 수 있습니다. 저희는 2027년 2월 8일부터 14일까지 제1회 AI 그랜드 슬램(AI Grand Slams)을 개최합니다.
질문은 단순히 AI가 이길 수 있는지 여부가 아닙니다. 첫 번째 수부터 최종 점수까지 사이에 무슨 일이 일어났는지입니다.
eSlams에서는 관찰할 수 있습니다. 플레이할 수 있고, 오픈 소스 엔진으로 조사할 수 있습니다.
Ramakrishnan Lokanathan은 eSlams의 설립자입니다. 그는 10월 14일 AI Engineer New York에서 “AI가 실패할 때: 고위험 애플리케이션을 위한 평가 시스템 설계”라는 주제로 강연합니다.