8개의 LLM, 4개의 전략적 과제, 블라인드 테스트: 최상위권의 성적은 평이했다

우리는 4개의 전략 분석 (strategic-analysis) 질문에 대해 8개의 모델을 실행하고, 참조 답변 (reference answer)을 기준으로 출력값에 대한 블라인드 채점 (blind-scored)을 실시했습니다. 가격표가 암시하는 방향과는 결과가 다르게 나왔기에 그 결과를 게시합니다.

설정: 4개의 시나리오, 8개의 모델, 각 모델당 하나의 응답. 별도의 모델이 각 출력값에 대해 프레임 확인 (frame-checking), 통찰의 깊이 (insight depth), 실행 가능성 (actionability), 그리고 구조적 건전성 (structural soundness)을 0-100점으로 채점했습니다. 모든 항목은 참조 답변과 비교하여 채점되었습니다. 전체 과정은 CLI 에이전트를 통해 실행되었습니다. 목적은 라우팅 (routing)을 위해 어떤 모델을 구성할지 결정하는 것이었습니다.
모델 이름은 2026년 6월 기준 OpenRouter의 최신 정보를 따릅니다.

시나리오 도메인 (Scenario Domain)

전략적 모순 (Strategic contradiction): 경쟁사가 대규모 투자를 단행함. 유지할 것인가, 피벗 (pivot)할 것인가?
다차원 검토 (Multi-dimensional review): 기존 프로세스에 대한 10개 질문의 운영 감사 (operational audit)
채널 조정 (Channel coordination): 두 개의 유통 채널을 어떻게 조정할 것인가
포트폴리오 우선순위 지정 (Portfolio prioritization): 무엇을 강화하고, 일시 중단하거나, 폐기할 것인가

모델 A B C D 평균 가중치 (Avg Weighted)

Fable 5 (ref) 100 100 100 100 100 100
Opus 4.8 92 80 88 87 87 85.55
GLM-5.2 83 84 84 87 84.5 85.43
GPT-5.5 85 87 85 84 85 85.05
DeepSeek V4 Pro 90 82 86 84 86 84.1
Qwen 3.7 Plus 88 80 78 80 82 79.4
Gemini 3.5 Flash 88 69 72 75 76 72.6
MiniMax M3 70 55 55 52 58 53.65

가중치 열 (Weighted column): Bx25% + Cx30% + Dx45% (A 제외), 복잡성과 전략적 이해관계에 따라 가중치를 부여했습니다. 가중치는 점수를 수집하기 전에 설정되었습니다.

상위 4개 모델은 약 2점 차이 내에 밀집해 있었습니다. 이 편차는 단일 샷 (single-shot) 응답에서 예상되는 실행 간 변동성 (run-to-run variance)보다 작으므로, 신뢰할 수 있는 순위라기보다는 노이즈 (noise)에 가깝습니다. 이 결과가 최상위권이 증명 가능할 정도로 동등하다는 뜻은 아닙니다. 이 유형의 작업에 대해 프론티어 (frontier) 모델에 비용을 지불하는 것이 정당화될 수 없을 만큼 격차가 너무 작다는 뜻입니다. 해당 클러스터에서 가장 저렴한 모델 (DeepSeek V4 Pro, 약 $0.87/1M output)은 프론티어 모델 (약 $25/1M) 출력 비용의 약 1/29 수준입니다.

여기서 비용 대비 품질 (Cost-to-quality)은 비선형적입니다. 명확한 절벽 (cliff)이 존재합니다: MiniMax M3는 다음 모델보다 약 15-25점 뒤처져 있으며, 구조적 통찰 (structural insights)을 지속적으로 놓치고 있습니다.

절벽(cliff) 위쪽의 최상위권 모델들은 이 테스트의 해상도 내에서는 구분이 불가능했습니다.

판사 편향(judge bias)에 대하여: 판사(Opus 4.8) 또한 참가자였으며 스스로에게 가장 높은 점수를 부여했습니다. 자기 선호(Self-preference)는 프론티어 모델(frontier model)로부터 멀어지는 것이 아니라, 오히려 그쪽으로 치우칩니다. 오히려 이는 Opus의 점수를 부풀리고 최상위권 간의 격차를 보여지는 것보다 더 좁게 만듭니다. 이러한 편향이 불리하게 작용함에도 불구하고 결과의 평이함(flatness)은 유지됩니다.

상위 3개 모델은 Artificial Analysis 리더보드에도 등장하는데, 해당 리더보드는 Opus와 DeepSeek Pro 사이에 약 12점의 격차가 있다고 보여줍니다. 반면 이 테스트에서는 1.45점의 격차를 보여줍니다. 지식 검색(Knowledge retrieval)과 코딩(coding)은 프레이밍(framing), 판단(judgment), 그리고 운영 설계(operational design)와는 다릅니다. 후자의 범주에서는 차별화 요소가 대부분 비용 문제로 수렴합니다.

한 가지 더 주목할 만한 점은, DeepSeek Pro가 한 시나리오에서는 Opus 및 GPT-5.5와 동일한 전략적 재구성(strategic reframe)에 독립적으로 도달했으며, 다른 시나리오에서는 특정 구조적 격차(structural gaps)를 지적한 유일한 모델이었다는 것입니다. 독립적인 모델들이 동일한 재구성에 수렴할 때, 그 수렴 자체가 하나의 신호가 됩니다. 이 패턴에 대해서는 별도로 더 다루겠습니다.

한계점: n=4, 각 모델당 응답 1개. 참조 기반 채점(Reference-anchored scoring)은 정답(ground truth)이 아닌 참조와의 유사성을 측정합니다. 단일 맹검(Single-blind). 전략적 분석에 특화된 도메인(Domain-specific).

리더보드는 워크로드별 라우팅(workload-specific routing)에 중요한 질문과는 다른 질문에 답합니다. 여러분의 작업에 대해 4가지 시나리오로 수행하는 스모크 테스트(smoke test)는 커피 한 잔 값보다 적은 비용이 들며, 프론티어 모델의 프리미엄이 여러분의 업무에서 실제로 가치를 제공하는지 알려줍니다.

제출자: /u/petburiraja
[link] [comments]