안녕하세요! 이번에는 Claude Opus 5.5, GPT-6 Astra, DeepSeek V4.1 Flash 1017, 그리고 MiniMax M3.1 Flash를 까다로운 HYPERSONIC SHOCK LAB — Computational Fluid Dynamics (CFD) 벤치마크에서 비교했습니다. 🚀🔥
이전의 단발성(single-shot) 비교와 달리, 저는 모델들이 복잡한 물리 시뮬레이션을 구현하는 능력뿐만 아니라 공학적 정확도, 수치 안정성(numerical stability), 반복 개선 능력, 개발 속도, API 비용까지 평가하기 위해 예산 제약이 있는 반복적인 개발 프로토콜을 사용했습니다.
벤치마크 설정:
저는 네 가지 모델 모두에게 Pi Harness를 사용했으며, 다음 조건들이 적용되었습니다:
- 60분 개발 제한 및 모델당 $10 API 예산.
- Opus 5.5와 GPT-6 Astra에는 높은 수준의 노력이 요구됨.
- DeepSeek V4.1 Flash 1017과 MiniMax M3.1 Flash에는 최대 수준의 노력이 요구됨.
- 네 개의 독립적인 GPT-6 Luna / xhigh 슈퍼바이저가 고정된 지침을 사용하여 개발 워크플로우를 관리했으며, 해결책이나 코드를 제공하지는 않았습니다.
- 워크플로우는 다음과 같이 진행되었습니다: 분석 및 계획(Analysis & Planning) → 구현(Implementation) → 검토(Review) → 수리 계획(Repair Planning) → 수리(Repair) → 테스트(Testing) → 수정 및 재테스트(Fix & Retest).
- 시간과 예산이 남아 있는 한, 검토와 수리 주기는 계속되었습니다.
모든 모델은 동일한 과제, 초기 파일, 그리고 도구를 받았습니다. 계획, 코딩, 테스트, 오케스트레이션 지연 시간 모두 60분 제한에 포함되었습니다. 개발이 중단되었을 때의 최종 결과물(artifacts)을 그대로 보존했습니다.
과제 요약:
저는 모델들에게 JavaScript와 Canvas 2D를 사용하여 단일 오프라인 HTML 파일로 구현된, 완전히 자율적이고 시각적으로 매력적인 75초 분량의 초음속 풍동(hypersonic wind-tunnel) 시뮬레이션을 개발하도록 요청했습니다. 이 과제는 진정한 2차원 보존 유한 체적 압축성 오일러 솔버(conservative finite-volume compressible Euler solver), 근사 리만 플럭스(approximate Riemann fluxes), 이상 기체 상태 방정식(ideal-gas equations of state), CFL 제어 수치 적분(CFL-controlled numerical integration), 물리적으로 계산된 충격파(physically computed shock waves) 및 약 160 × 64개의 유체 셀을 요구했습니다.
시뮬레이션은 다섯 개의 연속적인 단계로 구성되었습니다:
- P1 — 기본 흐름(Base Flow): 수치적 발산 없이 안정적이고 균일한 마하 5(Mach 5) 흐름을 유지합니다.
- P2 — 경사 충격파(Oblique Shock): 12° 압축 램프에서 물리적으로 계산된 충격파를 생성하고, 그 각도와 압력비를 해석적 충격 관계식과 비교하여 검증합니다.
- P3 — 팽창 팬(Expansion Fan): 프란틀-마이어(Prandtl–Meyer) 팽창을 시뮬레이션하고, 마하 수가 증가하고 압력이 감소하는 것을 검증합니다.
- P4 — 충격파 상호작용(Shock Interaction): 반대 방향의 8° 압축 램프를 도입하고 두 개의 충격 구조물 간의 상호작용을 해소합니다.
- P5 — 마하 스윕(Mach Sweep): 입구 마하를 5에서 6으로 증가시키고 충격각이 새로운 해석적 해에 근접하는지 검증합니다.
종합 물리 점수/100점, API 비용 및 개발 시간:
🥇 Opus 5.5 · 높음 — 100/100 — $10.233 — 22:06
🥇 GPT-6 Astra · 높음 — 100/100 — $10.146 — 29:38
🥇 DeepSeek V4.1 Flash 1017 · 최대 — 100/100 — $0.671 — 60:00
- MiniMax M3.1 Flash · 최대 — 0/100 — $0.279 — 22:48
결과:
🥇 최고의 초기 경사 충격파 정확도 — Opus 5.5가 0.0414°의 각도 오차와 0.1047%의 압력비 오차로 가장 우수했습니다.
🥇 최고의 팽창 후 마하 정확도 — GPT-6 Astra가 1.2287%의 상대 오차로 가장 우수했습니다.
🥇 최고의 최종 충격각 수렴 정확도 — GPT-6 Astra가 0.0373°의 오차를 보였습니다.
— 통과한 제출물 중 가장 짧은 기록된 개발 시간 — Opus 5.5가 22분 6초로 달성했습니다.
— 통과한 제출물 중 최고의 API 비용 효율성 — DeepSeek V4.1 Flash 1017이 단 $0.671로 100/100을 달성했습니다.
— 가장 많은 반복 개선 주기 완료 — DeepSeek V4.1 Flash 1017이 다섯 번의 전체 검토, 수리 계획, 수리, 테스트 및 재테스트 주기를 완료했습니다.
— 가장 강력하게 검토된 솔버 및 측정 구현 — GPT-6 Astra가 검사된 수치 경로에서 물질적 결함이 발견되지 않았습니다.
— 결정론적 물리 재현성 — Opus, Astra, DeepSeek 모두 재시작 테스트 전반에 걸쳐 측정한 결과를 재현했습니다.
— 가장 치명적인 수치 안정성 실패 — MiniMax M3.1 Flash가 유효하지 않은 시뮬레이션을 생성하여 0/100점을 받았습니다.
— 전체 API 지출 비용 측면에서 가장 낮음 — MiniMax M3.1 Flash($0.279)였으나 유효한 벤치마크 제출이 없었음.
— 비용 대비 물리적 수용도 비율(cost-to-physics-acceptance ratio) 최고 — DeepSeek V4.1 Flash 1017로, Opus와 Astra보다 약 15배 저렴한 비용으로 동일한 다섯 가지 수용 단계를 충족시켰습니다.
최종 평가 (Final Assessment):
- 가장 흥미로운 결과는 세 모델이 상당히 다른 공학적 및 경제적 경로를 통해 100/100을 달성했다는 점입니다.
- Opus는 뛰어난 쇼크 정확도를 보여주었으며, 기록상 가장 짧은 개발 기간 내에 통과하는 아티팩트를 제공했지만, 목표치인 $10보다 약간 더 많은 비용이 소요되었습니다.
- Astra는 강력한 수치 일치성과 가장 깨끗하게 검토된 솔버(solver) 및 측정 구현을 결합했으며, 특히 팽창 물리(expansion physics)와 최종 쇼크각 수렴(shock-angle convergence) 분야에서 두드러졌습니다.
- DeepSeek은 인상적인 경제적 효율성을 보여주었습니다. 비록 전체 60분 개발 기간이 필요했고 수치 정밀도 및 일부 구현 수준의 문제점이 있었지만, API 비용의 극히 일부만으로 모든 물리적 수용 기준을 성공적으로 충족시켰습니다.
- MiniMax가 제출한 구현체는 수치 무결성 요구 사항을 충족하지 못했습니다. 하지만 초기 제공자 중단(provider interruption)으로 인해 전체 개발 기간 동안 무엇을 달성할 수 있었는지에 대한 공정한 결론을 내릴 수 없습니다.
저에게 있어 핵심 시사점은 벤치마크 성공, 수치 정밀도, 공학적 견고성(engineering robustness), 개발 시간, 그리고 추론 경제학(inference economics)이 개별적으로 평가되어야 한다는 것입니다. 완벽한 수용 점수는 모델들이 복잡한 과학 소프트웨어를 설계하고, 검증하며, 개선하는 방식에 대한 의미 있는 차이를 가릴 수 있습니다.
비용 수치에는 참가자 API 사용량만 포함되었으며, GPT-6 Luna 감독 및 별도의 평가 비용은 제외되었습니다. Opus와 Astra는 최종 인플라이트(in-flight) 요청으로 인해 명목상의 $10 한도를 약간 초과했습니다.