안녕하세요, 이번에는 가장 널리 사용되는 몇 가지 AI Harness 도구들의 출력과 성능을 비교했습니다. 저는 GLASS CATHEDRAL — Fracture Dynamics Benchmark 시나리오에서 Pi, OMP, Droid, 그리고 Codex CLI를 평가했습니다. 🔥
저는 모든 도구에 GPT-6 Luna를 높은 노력(high effort)으로 사용했습니다. 개발로 바로 들어가는 대신, 계획 수립 우선(planning-first), 개발 차순(development-second) 워크플로우를 따랐습니다. Pi의 경우, 먼저 계획을 준비하도록 명시적으로 지시한 후 개발 명령을 진행했습니다.
과제 요약:
저는 도구들에게 150~200개의 독립적인 삼각형 유리 조각, XPBD 기반 파손 제약 조건(breakable constraints), 물리적 충돌, 바람 효과, 구조적 지지 손실을 통합한 세 개의 고딕 스테인드글라스 창문을 시뮬레이션하는 애플리케이션을 개발하도록 과제를 부여했습니다. 이 애플리케이션은 단일 HTML 파일 내에서 실행되어야 했으며, 75초 동안 자율적인 시나리오를 완료하고 측정 기반의 결과 보고서를 생성해야 했습니다.
참고: 저는 평가를 위한 Judge LLM으로 GPT-6 Astra Pro를 사용했습니다.
AI Harness 제공 성능 점수 /10
1위 — Droid: 9.33/10 @droid
2위 — Pi: 6.43/10 @pidotdev
3위 — Codex CLI: 5.86/10 @OpenAIDevs
4위 — OMP: 3.10/10 @stencil_labs
비용 및 속도
- Droid — $0.17 — 15분
- Pi — $0.15 — 42분
- Codex CLI — $0.34 — 24분
- OMP — $0.83 — 1시간 17분
결과:
👉최고의 비용 대비 속도 균형 및 가장 빠른 완료 시간 — Droid. 가장 저렴한 옵션보다 단지 $0.02만 더 비쌌음에도 불구하고, 가장 짧은 시간에 작업을 완료했습니다. 또한, 전달된 코드는 보고서에 단계별 시계열(phase-based time series), 이벤트 로그, 파손 원인까지 포함하고 있어 감사 가능성(auditability) 측면에서 긍정적인 특징이었습니다.
👉가장 낮은 직접 비용 — Pi. 하지만 $0.15의 비용 우위는 42분이라는 완료 시간과 함께 왔습니다. 따라서 이번 실행에서는 가장 저렴한 옵션이 가장 강력한 전반적 효율성을 제공하지 못했습니다.
👉두 번째로 빠른 완료 시간 — Codex CLI. 이 도구는 24분에 작업을 완료했습니다. 하지만 Droid보다 9분 더 오래 걸렸고 비용은 두 배나 많이 들었습니다.
👉 가장 긴 완료 시간과 가장 높은 비용을 기록한 것은 OMP였습니다. 77분과 $0.83로, 이 평가의 경제적 측면에서 가장 낮은 순위를 차지했습니다. 이 결과가 OMP의 전반적인 능력이 부족하다는 것을 의미하는 것이 아니라, 제가 선택한 지표에 비추어 볼 때 이 작업에서의 시간과 비용이 정당화되지 않았다는 것을 의미합니다.
특히 주목할 만한 차이점은 다음과 같습니다: Droid는 Pi보다 단지 $0.02 더 많은 비용으로 작업을 27분 더 빠르게 완료했습니다. Codex CLI와 비교했을 때, Droid는 작업 수행 시간을 37.5% 줄이고 비용을 50% 낮추었습니다.
이 벤치마크에서 Droid는 속도와 낮은 비용을 결합하여 명확하게 두각을 나타냈습니다. Pi가 가장 경제적인 옵션이었고, Codex CLI가 완료 시간 부문에서 2위를 차지했습니다. OMP는 이번 실행에서 더 오래 걸리고 비용이 더 많이 들었음에도 불구하고, 전달 성능 점수에서는 최하위권을 기록했습니다.