LLM이 Civilization V를 플레이하는 벤치마크: GLM-5.3가 Opus-5.5보다 앞서고, Qwen-3.8-27B도 놀라울 정도로

얼마 전, 저는 이곳에 OSS-120B와 GLM-4.6이 Civilization V의 전체 게임을 플레이하는 것을 올린 적이 있습니다. 그 이후로 모델들이 상당히 발전했기 때문에, 저희는 이 게임을 플레이하는 모델들의 능력을 더 잘 이해하고 싶었습니다.

새로운 모델들을 위한 통제된 버전의 CivBench를 소개합니다:
(Chen et al., 2026, COLM 2026 작업을 확장)

현재 GPT-6.1-Sol, GPT-6-Astra 등을 테스트하고 있습니다. 다음 실행에 사용할 모델(특히 흥미로운 open-weight 모델)을 제안해 주셔도 좋습니다!

Civilization이란 무엇인가요? Civilization V($7.49, 스팀 프로모션가 기준)는 플레이어가 문명을 이끌고 수백 턴 동안 확장, 과학, 외교, 전쟁, 그리고 궁극적으로 우주 시대를 거치는 턴제 전략 게임입니다. 이는 LLM 벤치마크에서 종종 어려움을 겪는 것을 테스트하는 데 유용합니다. 즉, 그 결과가 50턴 또는 100턴 이상 후에 나타날 수 있는 결정들 말입니다.

*비잔틴 제국으로 플레이하는 LLM 전략가가 로마를 재건할 수 있을까요?

이것이 통제된 실험인 이유는 무엇인가요? 각 모델에게 무관한 게임을 주는 대신, 동일한 세 가지 고정 시작 지점을 순환하여 사용합니다. 각 게임에는 8개의 문명이 참여하며, 그중 2개는 테스트하는 LLM 전략가를 사용하고 나머지 6개는 표준 Vox Populi AI를 사용합니다. LLM이 높은 수준의 전략을 설정하면, Civ의 기존 AI가 낮은 수준의 실행을 처리합니다.

모델들이 실제로 어떻게 플레이하는지 볼 수 있나요? 네. 몇 가지 예시입니다:

• GLM-5.3: 중국, 문화 승리
• Opus-5.5: 모로코, 문화 승리
• Qwen-3.8-27B: 중국, 과학 승리

지금 한 라운드를 플레이할 수 있나요? 네. 게임을 소유하고 있다면 Vox Deorum은 오픈 소스이며 설치 프로그램이 있습니다. Civilization V를 직접 LLM 기반 문명과 대결하거나, 전체 AI 대 AI 게임을 관람하거나, 심지어 상대방과 채팅할 수도 있습니다. 또한 LLMs를 팀원으로 삼아 함께 승리를 향해 나아갈 수도 있습니다!

*평화주의자로서 불평등 조약을 피할 수 없을 것 같습니다. 적어도 흥정은 할 수 있겠죠?

로컬 모델이나 기존 구독을 사용할 수 있나요? 네.

로컬 OpenAI 호환 서버도 지원되며, Qwen-3.8-27B가 훌륭하게 작동할 수 있습니다. 기존에 사용하시던 Claude나 Codex 구독을 이용하실 수도 있습니다. (저는 평가 게임을 엄청 많이 돌리는 데 이것들을 사용합니다! GPT-6-Luna는 사실상 무료로 플레이 가능합니다. 플레이어당 게임당 API 비용은 약 $0.5 정도입니다.)
무엇을 또 배우셨나요? 방법론에 대해서는 COLM 2026 논문을, 모델이 다른 대상에게 핵 공격을 승인할지 여부에 대해서는 EMNLP 2026 논문을 확인해 주세요. 문명(Civilization)은 그냥 게임일 뿐 아닌가요?
적어도 대화라도 나눌 수 있을까요?
(자꾸 보내고 삭제해서 죄송합니다. 사진이 많은 게시물을 비행 중 와이파이를 이용해 보내면 안 될 것 같습니다. 잘 전달되기를 바랍니다! 혹시 못 보신다면 알려주세요.)
제출자: /u/vox-deorum
[링크] [댓글]