안녕하세요! 이번에는 매우 까다로운 'SATELLITE MESH BLACKOUT — 자율 위성 네트워크 복원력 벤치마크(Autonomous Satellite Network Resilience Benchmark)' 시나리오에서 MiniMax M3.1 Flash, Kimi K3.1 Pro, DeepSeek V4.1 Flash 1017, 그리고 GPT Terra 6.1을 벤치마킹했습니다. 🦾🔥
저는 네 모델 모두에게 높은 노력을 요하는 OpenCode Harness를 사용했습니다. 단발성 개발 대신, 계획(Planning) → 구현(Implementation) → 수정(Revision)의 3단계 개발 프로토콜을 따랐습니다.
벤치마크 설정 및 실행:
네 모델 모두에게 동일한 개발 과제를 할당했습니다. 먼저 아키텍처 계획 수립을 지시했고, 다음으로 솔루션을 구현하게 했으며, 마지막으로 결과 코드를 검토하고 수정하도록 했습니다.
과제 요약:
모델들에게 동적 토폴로지를 갖춘 실시간 위성 통신 네트워크를 개발하는 과제를 부여했습니다. 이 네트워크는 550km 고도에 위치하며, 53° 경사각을 가지는 6개의 궤도면(orbital planes)에 걸쳐 배치된 72개의 LEO 위성과 4개의 지상국으로 구성됩니다.
전반적인 독립 시뮬레이션 점수 /100점, API 비용, 개발 시간:
- DeepSeek V4.1 Flash 1017 · 높음(High) — 97.4/100 — $0.47 — 18:41
- MiniMax M3.1 Flash · 높음(High) — 92.2/100 — $0.22 — 12:36
- Kimi K3.1 Pro · 높음(High) — 90.4/100 — $0.85 — 20:55
- GPT Terra 6.1 · 높음(High) — 84.6/100 — $0.42 — 10:56
결과:
- 최고의 알고리즘 성능 및 전반적인 엔지니어링: DeepSeek V4.1 Flash 1017.
- 최고의 프론트엔드 및 시각적 표현: DeepSeek V4.1 Flash 1017. GPT Terra 6.1은 깔끔하고 전문적인 디자인으로 2위를 차지했습니다.
- 최고의 오류 내성(Fault Tolerance): DeepSeek V4.1 Flash 1017. MiniMax는 34/75, Terra는 18/300, Kimi는 위상 동기 패킷 전송률(in-phase packet delivery ratios)에서 각각 2/108을 달성했습니다.
- 최고의 비용 대비 성능 비율: MiniMax M3.1 Flash.
- 가장 높은 원본 패킷 전달률: GPT Terra 6.1. 이 모델은 네 모델 중 가장 높은 전반적인 전달률인 85.4%를 기록했습니다.
- 가장 빠른 개발 속도: GPT Terra 6.1. 계획, 구현 및 수정 전체 과정을 단 10분 56초 만에 완료했습니다. MiniMax는 12분 36초로 2위를 차지했습니다.
종합 평가:
-
DeepSeek V4.1 Flash 1017은 제가 진행한 벤치마크에서 전반적인 우승자로 나타났습니다. 이 모델은 알고리즘적 정확성(algorithmic correctness)과 시각적 표현력(visual presentation) 모두에서 강력한 결과를 보여주었습니다. 주요 장점으로는 정상 조건에서의 네트워크 연결 유지, 실제 장애 발생 시 패킷 재라우팅(rerouting packets), 그리고 복구 과정 전반에 걸친 안정성 입증이 있었습니다.
-
MiniMax M3.1 Flash는 낮은 비용으로 높은 기능을 제공했다는 점에서 두각을 나타냈습니다. 하지만, 저는 이 모델이 자체 보고한 100/100 점수가 독립적인 테스트를 통해 얻은 결과와 같은 의미를 지니지 않는다는 것을 관찰했습니다.
-
Kimi K3.1 Pro는 성공적인 최종 복구 동작을 보여주었음에도 불구하고, 심각한 장애 단계(severe failure phase)에서의 낮은 패킷 전달 성능과 높은 비용 때문에 뒤처졌습니다.
-
GPT Terra 6.1은 가장 빠른 개발 시간과 가장 높은 원본 패킷 전달률(raw packet delivery rate)을 달성했다는 점에서 두각을 나타냈습니다. 하지만, 네트워크 토폴로지(network topology)의 링크 제한 위반(link-limit violation)으로 인해 규격 준수 점수(specification compliance score)가 하락했으며, 캐스케이드 장애 단계(Cascade Failure phase) 동안 성능 저하를 겪었습니다.