Show HN: Gemini 4 Argon이 StarCraft를 플레이하다

요약 (TL;DR)

• StarSkirmish는 LLM이 StarCraft: Brood War용 봇을 작성하는 벤치마크입니다.
• 각 LLM은 C++로 프로토스(Protoss) 봇을 작성하기 위해 1시간의 시간이 주어지며, 이 봇은 다른 LLM의 봇 및 기존에 인간이 작성한 봇들과 비교 평가됩니다.
• StarSkirmish는 LLM이 연습 게임에서 얻은 학습 내용을 통합하여 StarCraft 봇을 개선해야 하므로, 장기적인 추론(long horizon reasoning)과 에이전트적 코딩(agentic coding) 능력을 테스트합니다.

StarSkirmish Bench는 각 LLM이 1시간의 실시간 시간 동안 얼마나 강력한 StarCraft 봇을 작성할 수 있는지 평가합니다. v0.2에서는 OpenAI, Anthropic, Google, Meta의 플래그십 모델들을 포함하여 StarSkirmish Bench v0.1을 업데이트했으며, 각 모델은 자체 연구소의 1차 파티 CLI(Command Line Interface) 하네스를 통해 구동됩니다.

LLM의 점수는 경쟁적인 인간이 작성한 봇들과 데모 봇들에 대한 승률을 반영합니다.

StarSkirmish Bench v0.2

자체 1차 파티 CLI 하네스에서 진행된 1시간 구동 결과입니다. 점수는 각 모델의 5회 실행에 대한 평균 승률(0–100)이며, 이는 경쟁적인 인간이 작성한 봇들과 비교됩니다.

Gemini 4 Argon은 이용 가능한 최고 수준의 추론 노력인 high에서 구동되는 반면, 다른 모든 모델은 max에서 구동됩니다.

GPT-6 Astra가 StarSkirmish Bench v0.2에서 가장 높은 점수를 기록한 LLM이며, GPT-6.1 Sol이 그 뒤를 이어 두 번째입니다. Gemini 4 Argon, Claude Opus 5.5, 그리고 Claude Fable 5.1은 이들보다 기능적으로 동등하며(functionally tied), 모두 37점에서 39점 사이의 점수를 기록했습니다.

StarSkirmish Bench vs. 비용

StarSkirmish Bench 점수는 1시간 구동당 평균 API 비용과 비교됩니다. 비용은 로그 스케일로 표시됩니다.

Muse Wonder Full의 가격 책정은 Muse Wonder의 API 가격을 기반으로 합니다.

GPT-6.1 Sol이 독특하게 좋은 가치를 제공합니다: 이는 가장 매력적인 사분면(quadrant)에 속하는 유일한 LLM이며, GPT-6 Astra 대비 실행당 비용이 1/10도 채 되지 않는 비용으로 두 번째 점수를 기록했습니다.

가장 강력한 인간이 작성한 봇들은 여전히 모든 모델보다 훨씬 앞서 있습니다. Stardust, PurpleWave, BananaBrain을 상대로 가장 좋은 모델인 GPT-6 Astra조차 게임의 7%만을 승리하는 것으로 나타났습니다.

최고 수준의 인간이 작성한 봇 대비 승률

각 모델의 5개 봇이 최고의 인간이 작성한 봇 Stardust, PurpleWave, 그리고 BananaBrain을 상대로 기록한 평균 승률입니다.

1시간 추론 제한이 하나의 요소이지만, 이 경기들은 세 개의 2인용 맵에서 진행됩니다. 실제 인간이 작성한 봇 토너먼트 조건은 훨씬 더 어렵습니다.

Google과 Meta의 새로운 플래그십 모델들이 v0.1 버전의 Gemini 3.8 Flash와 Muse Spark 1.3을 대체합니다: Gemini 4 Argon은 3위를 차지했고, Muse Wonder Full은 7위를 기록했습니다. GPT-6 Astra와 Claude Opus 5.5는 v0.1에서 다루어졌습니다.

각 실행(run)의 에이전트 추적(agent trace)은 모델이 시간을 어떻게 사용했는지 기록합니다. 모델 점수의 가장 강력한 예측 변수는 로스터에 있는 가장 강한 봇 7개와 얼마나 많이 연습했는지입니다.

강력한 봇과의 연습률 대비 승률 (Win Rates vs. Practice Against Strong Bots)

StarSkirmish Bench 점수는 모델의 중간 실행(median run)이 시간 동안 로스터에 있는 가장 강한 봇 7개와 플레이한 연습 경기 수에 따라 계산됩니다. 점선은 9개 모델 전반의 선형 적합(linear fit)입니다.

GPT-6 Astra, GPT-6.1 Sol, 그리고 Gemini 4 Argon은 시간 초기에 이 봇들과 플레이하기 시작하는 반면, 그들 자신의 봇들은 여전히 이 봇들에게 패배합니다. Muse Wonder Full, Claude Haiku 5.5, 그리고 GPT-6 Luna는 거의 또는 전혀 그렇지 않습니다. Claude Fable 5.1이 예외적입니다: 약한 봇들과 거의 전적으로 연습하면서 37점을 기록했습니다.

실행 간 분산 (Run-to-Run Variance)

각 모델의 5개 실행에 대한 승률입니다. 각 점은 하나의 실행 최종 봇을 나타내며, 선은 가장 낮은 실행부터 가장 높은 실행까지를 걸치고, 막대는 평균(모델의 Bench 점수)을 표시하며, 영역은 표준 편차($ ext{σ}$) 한 개를 나타냅니다.

결과는 동일한 모델의 실행 간에도 다릅니다. Gemini 4 Argon은 다른 연구소들의 플래그십 모델들보다 훨씬 더 많이 변동합니다: 가장 좋은 실행과 가장 나쁜 실행이 18점 차이가 나는 반면, GPT-6 Astra는 9점, Claude Opus 5.5는 8점 차이입니다.

각 LLM은 OpenBW에서 플레이되는 C++로 Protoss 봇을 BWAPI 4.4.0에 대해 작성합니다. 게임은 세 개의 사다리 맵인 Heartbreak Ridge, Benzene, Destination에서 Protoss 대 Protoss로 진행됩니다. 한쪽의 건물이 모두 파괴되면 게임이 종료됩니다. 60분 제한(86,400 프레임)에 도달하는 게임은 BASIL 사다리 규칙에 따라 결정되며, 이때 더 높은 처치 수 + 철거 점수가 승리합니다.

LLM은 채굴만 하는 골격(skeleton) 봇에서 시작하며, 세 개의 데모 봇 소스 코드와 두 가지 표준 봇 라이브러리(FAP, 전투 시뮬레이터 및 BWEM, 지도 분석기)를 가지고 있습니다. 시간이 끝날 때 그 봇 폴더에 있는 것이 최종 봇이 되므로, 봇 컴파일을 계속해야 합니다.

LLM은 자신의 봇을 컴파일하고, 연습 게임을 플레이하며, 각 게임의 요약(summary), 대본(transcript) 및 자신의 봇 로그를 읽는 도구를 가지고 있습니다. 연습 상대들은 티어별로 그룹화되어 있습니다: D (세 개의 데모 봇), C와 B (각각 세 개의 중위권 인간 작성 봇), A (BananaBrain, Locutus) 그리고 S (Stardust, PurpleWave).

각 모델의 최종 5개 봇은 13개의 로스터 봇(roster bots), 10개의 경쟁적인 인간 작성 봇 및 3개의 데모 봇 각각과 각 지도에서 6번씩, 새로운 시드(fresh seeds)로 플레이합니다. v0.1과는 달리, LLM 봇들은 서로 플레이하지 않습니다.

StarSkirmish Bench v0.1은 모든 모델을 동일한 하니스(harness)에서 '높음(high)' 추론 수준으로 실행했습니다. v0.2는 각 모델을 자체 연구소의 1차 파티 CLI 하니스에서 제공하는 최고 추론 설정으로 실행합니다.

하니스 (Harness)

v0.1은 모든 모델을 하나의 중립적인 3자 파티 하니스에서 실행했습니다. v0.2는 각 연구소의 모델들을 자체 1차 파티 CLI 하니스에서 실행합니다. 두 버전 모두 각 모델에게 1시간을 제공합니다.

Claude Opus 5.5

GPT-6 Astra, Sol, Luna

Gemini 3.8 Flash

Muse Spark 1.3

Claude Opus 5.5, Fable 5.1, Sonnet 5.5, Haiku 5.5

GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna

Gemini 4 Argon

Muse Wonder Full

CLI 버전: Claude Code 2.1.296, Codex 0.162.1, Antigravity CLI 1.3.5 및 Muse Code 1.4.7.

추론 노력 (Reasoning Effort)

v0.1은 모든 모델을 높은 추론 노력으로 실행했습니다. v0.2는 이를 최대치로 실행합니다.

낮음(Low)

중간(Medium)

높음(High)

매우 높음(XHigh)

최대(Max)

Gemini 4 Argon은 지원되는 최고 노력 수준인 '높음(high)'으로 실행됩니다.

모든 v0.2 하니스는 모델의 컨텍스트를 약 250k 토큰으로 압축합니다. 대화가 그 지점에 가까워지면, CLI가 이를 축소하고 모델은 계속 진행합니다. 예를 들어, OpenAI의 CLI인 Codex는 GPT 모델에게 기본 272k 토큰 창을 제공하며 90%가 채워지면 압축을 유발합니다.

CLI의 웹 검색 및 웹 가져오기 도구는 비활성화되었으며, 에이전트는 다른 인터넷 접근 권한을 갖지 않습니다. CLI는 시계가 시작되기 전에 설치되며, 시간은 에이전트가 시작될 때부터 계산됩니다. 제출(submit) 도구는 없으며: 하네스(harness)는 시간이 다 되면 봇을 수집합니다.

v0.2는 v0.1의 Elo 레이팅을 단순 승률로 대체했습니다. 봇의 점수는 자신의 승률입니다.

모든 봇이 동일한 고정 로스터를 플레이하기 때문에, 그들의 게임은 전장의 다른 LLM 봇에 의존하지 않습니다. 이들은 모두 병렬로 실행되며, 새로운 모델의 봇은 다른 누구와도 재경기할 필요 없이 점수를 매길 수 있습니다. 또한 고정된 로스터는 시간이 지나도 기준을 유지하므로, 서로 다른 모델 세대에서 나온 점수가 하나의 전장에서 적합하게 조정된 Elo 레이팅보다 더 직접적으로 비교 가능합니다.

StarSkirmish는 더 이상 가장 널리 보고되는 평가(evals)를 추적하지 않습니다. 이 지표는 Artificial Analysis Intelligence Index (ρ 0.26)와 거의 움직이지 않으며, 여기서 최고 모델인 GPT-6 Astra는 이 9개 모델 중 4위에 그저 동률을 기록할 뿐입니다. 또한 v0.1에서 면밀히 추적했던 Terminal-Bench 4.0에서도 벗어났습니다. Claude Sonnet 5.5와 Muse Wonder Full은 모두 Terminal-Bench 4.0에서는 상위권에 속하지만, 여기서는 하위에 가깝게 위치합니다.

벤치마크 상관관계

각 모델의 Vals IOI 및 WeirdML v3 점수 대비 StarSkirmish 벤치 점수와 그 사이의 Spearman ρ를 보여줍니다. 점선은 최적의 직선 적합(straight-line fit)입니다.

WeirdML v3는 9개 모델 중 7개를 평가했습니다: Gemini 4 Argon과 Muse Wonder Full은 작성 시점에는 포함되지 않았습니다.

StarSkirmish는 여전히 Vals IOI, C++로 해결된 올림피아드 프로그래밍 문제, 그리고 비정형 머신러닝 코딩 작업에 대한 독립적인 벤치마크인 WeirdML을 추적합니다. 한 가지 해석은 가장 많이 벤치마킹되는 평가들이 모델들이 조정하는 목표가 된 반면, 장기 지평(long horizon)의 어려운 코딩 작업에 대한 덜 목표화된 테스트들은 여전히 함께 움직인다는 것입니다.