안녕하세요! 이번에는 Kimi K3.1 Pro, Muse Spark Open, DeepSeek V4.1 Flash 1017, 그리고 MiniMax M3.1 Flash가 개발한 결과물을 까다로운 ANT COLONY INTELLIGENCE — Autonomous Foraging Benchmark 시나리오에서 비교했습니다.
저는 높은 추론 노력이 필요한 모든 모델에 대해 OpenCode를 사용했습니다. 저는 '계획 우선(plan-first), 구현 후(implement-second)' 워크플로우를 따랐습니다. 먼저 각 모델에게 과제를 분석하고 개발 계획을 준비하도록 지시한 다음, 그 계획을 구현하기 위해 두 번째 프롬프트를 제공했습니다.
또한 샌드박스 환경에서 정적 소스 코드 분석과 동적 실행 테스트를 수행했으며, 네 가지 구현체 모두를 Chromium에서 실행하여 결과를 독립적으로 채점했습니다. 저는 각 모델을 네 개의 다른 시드(seed)에 걸쳐 평가하며, 전달 이벤트 추적(delivery-event traces), 재고 보존(inventory conservation), BFS 거리(BFS distances), 그리고 벤치마크 임계값(benchmark thresholds)을 개별적으로 확인했습니다.
과제 요약:
모델들에게 중앙 집중식 전송이나 글로벌 경로 지식 없이, 128×80 그리드에서 작동하는 1,000개 에이전트의 자율 개미 군집 시뮬레이션을 개발하도록 요청했습니다. 이들은 먹이원을 발견하고, HOME 및 FOOD 페로몬을 퇴적하며 따라가고, 자원으로 그들의 둥지로 운반해야 했습니다. 시뮬레이션은 다섯 개의 자동화된 단계에 걸쳐 총 75초 동안 실행되어야 했으며, 4,500개의 고정 물리 틱(fixed physics ticks)이 실행되었습니다. 이 시나리오에는 초기 먹이 탐색, 페로몬 흔적 강화, 중앙 통로 폐쇄, 새로운 먹이원 도입, 그리고 비가 와서 두 페로몬 필드가 완전히 지워진 후의 군집 회복 과정이 포함되었습니다.
벤치마크는 10개의 기능 검사(functional checks)로 구성되어 총 100점 만점이었습니다. 실제 불법 전환, 재고 불일치 또는 치명적인 상태 무결성 위반은 시뮬레이션을 무효화하고 공식 벤치마크 점수를 0점으로 낮추게 됩니다.
종합 점수 — 독립 엔지니어링 및 코딩 품질 지수 /100점, 그리고 비용:
🥇 DeepSeek V4.1 Flash 1017 — 85/100 — $0.172
🥈 MiniMax M3.1 Flash — 77/100 — $0.100
🥉 Kimi K3.1 Pro — 71/100 — $3.001
- Muse Spark Open — 20/100 — $0.206
결과:
🥇 전반적인 엔지니어링 성능 및 처리량(throughput) 최고 기록 — DeepSeek V4.1 Flash 1017.
— 최고의 네 가지 시드(four-seed) 기능적 안정성 — DeepSeek 및 MiniMax (4/4, 100/100).
— 가장 높은 총 배송 처리량(total delivery throughput) — DeepSeek (배송 3,056건, 시드 1337).
— 최고의 초기 탐색 단계 배송(initial exploration-phase deliveries) — Kimi (P1에서 Food A 배송 218건).
— 게이트 폐쇄 후 가장 많은 적격 배송(qualifying deliveries) — MiniMax (P3에서 배송 120건).
— 새로운 식자원(food source)에 대한 가장 빠른 적응 속도 — DeepSeek 및 MiniMax (5.13초).
— 가장 강력한 우천 후 복구 능력(post-rain recovery) — DeepSeek (우천 후 수거를 통한 적격 배송 525건).
— 가장 낮은 개발 비용(development cost) — MiniMax ($0.100).
— 개발 비용 대비 최고의 배송 처리량(delivery throughput) — DeepSeek.
— 가장 심각한 기능적 실패(functional failure) — Muse Spark Open (모든 네 가지 시드에서 배송 0건).