Muse Wonder 벤치마크 결과

Muse Wonder Full은 Artificial Analysis Intelligence Index에서 56점을 기록했고, Muse Wonder는 52점을 기록했습니다. 이 점수는 Claude Opus 5.5의 58점보다 낮으며, Full 버전에서는 Claude Sonnet 5.5의 56점과 동등하고, GPT-6 Astra, Gemini 4 Argon, 그리고 Claude Fable 5.1의 각각 53점에 가깝습니다. Meta의 모델 카드에는 다른 이야기가 담겨 있습니다: Wonder Full은 장시간 코딩, 법률 작업, 비즈니스 자동화, 메모리 분야에서 앞서 나갑니다. 이 두 주장은 모두 사실일 수 있는데, 왜냐하면 서로 다른 역량을 측정하기 때문입니다. 이러한 구분이 이 결과물에서 얻을 수 있는 가장 유용한 시사점입니다.

오늘 Apidog 사용해 보기

아래에 전체 공개 이미지가 있습니다: Meta의 수치, 독립적인 Artificial Analysis 결과, Wonder가 앞서는 특정 영역, 뒤처지는 영역, 그리고 현재 Meta 외부에서 재현할 수 없는 벤치마크들입니다. 모델 자체에 대한 더 폭넓은 설명은 Muse Wonder 설명 자료를 참고하세요.

Meta의 모델 카드 표

Meta는 최대 추론 노력(maximum reasoning effort)을 투입하여 Muse Wonder Full, Muse Wonder, GPT-6 Astra, 그리고 Claude Opus 5.5를 비교했습니다. 아래 표는 Meta의 모델 카드에 대한 VentureBeat의 보고서를 따릅니다.

Meta는 두 가지 중요한 주의사항을 밝힙니다. 첫째, 경쟁사 테스트는 최선을 다한(best-effort) 것이었으며 해당 모델에 대한 최적의 설정을 사용하지 않았을 수 있습니다. 둘째, 일부 코딩 비교에서는 다른 도구(tooling)를 사용하여 나머지 항목들보다 통제도가 낮습니다.

Meta의 내부 벤치마크: 메모리 및 집중력

Meta가 공개한 자료에 포함된 세 가지 수치는 오직 Meta만이 현재 실행할 수 있는 테스트에서 나온 것입니다.

MemoryBench는 64K에서 100K 토큰에 달하는 대화 속에 사실(facts)을 배치하고, 방해 요소(distractors)를 추가하며, 중간에 일부 사실들을 변경합니다. 모델은 각 사실의 현재 버전을 기억해야 합니다. 이는 Meta의 Active Memory 기능의 근거가 됩니다.

FocusBench는 모델이 장애물(blockers)에 직면했을 때 목표 추구를 계속하는지 측정합니다. 이는 Active Focus 기능에 해당합니다. Wonder 모델이 GPT-6 Astra와 Claude Opus 5.5 모두보다 FocusBench 점수가 낮다는 점에 유의하십시오. 오직 Wonder Full만이 선두를 달리고 있습니다. 세 번째 내부 수치인 Personal Superintelligence Index는 공개된 경쟁사 비교가 없습니다.

이러한 벤치마크는 실제 행동을 그럴듯하게 테스트하지만, 동시에 Meta가 학습시킨 바로 그 행동들을 테스트합니다. 외부 평가자들이 이를 재현할 수 있을 때까지는, 독립적으로 검증된 성능보다는 Meta의 학습 목표에 대한 증거로 간주해야 합니다.

독립적인 점수: Artificial Analysis

Artificial Analysis는 두 모델을 Intelligence Index v4.3으로 최대 노력(maximum effort)을 기울여 평가했습니다. 종합 및 구성 요소 결과는 다음과 같습니다.

Muse Spark 대비 상승 폭은 실재합니다. Wonder Full은 종합 지수에서 6주 만에 8점을 얻었고, Terminal-Bench 점수는 거의 두 배가 되었습니다. Artificial Analysis는 이를 이전 Meta 모델들보다 물질적인(material) 지능 향상이라고 설명했습니다.

지식이 약점입니다. Wonder Full이 AA-Omniscience에서 Opus 5.5의 46점에 비해 30점을 기록하여, 사실적 회상이 더 약함을 나타냅니다. 하지만 상대적으로 낮은 환각(hallucination) 비율 덕분에 빠진 사실을 지어낼 가능성이 적습니다. 검색 결과나 자체 문서를 사용하여 응답에 근거를 마련하는 것이 모델의 기억력에 의존하는 것보다 중요합니다.

여러 우위가 미미합니다. CritPt와 GDP.pdf는 경쟁 모델들보다 단 1~2점 앞서 있습니다. Wonder Full이 Sonnet 5.5 대비 얻은 GDPval 우위는 신뢰 구간(confidence intervals) 내에 있습니다. 또한, Coding Agents Index에서 Claude Code와 Sonnet 5.5를 사용했을 때의 동률 기록은 에이전트 실행 시간 결정(agent-runtime decisions)에 특히 관련성이 높지만, 이 결과는 API로 제공되는 Wonder 모델이 아닌 Wonder Full에 속합니다.

Meta와 Artificial Analysis가 의견을 달리하는 부분

Meta의 모델 카드에는 Artificial Analysis Intelligence Index 항목에서 Wonder Full 점수를 59.0으로 기재하고 있으며, Artificial Analysis는 56을 발표했습니다. 이 차이는 서로 다른 인덱스 버전, 테스트 실행 날짜 또는 Meta의 평가 환경(evaluation harness) 때문에 발생할 수 있습니다. 어느 쪽도 이러한 격차에 대해 공개적으로 설명하지 않았습니다.

만약 59가 언급된다면 이는 Meta의 수치입니다. 56이 언급된다면 이는 독립적인 Artificial Analysis의 결과입니다. AutomationBench에서도 유사한 문제가 나타납니다: Meta는 Wonder Full에 대해 45.4를, Wonder에 대해 39.1을 보고했지만, Artificial Analysis는 테스트 버전이 다른 것으로 보이는 항목에서 각각 71%와 68%를 보고했습니다. 항상 수치 옆에 출처(source)를 함께 명시해야 합니다.

점수 뒤에 숨겨진 토큰과 비용

최대 노력 점수는 토큰 비용을 수반합니다. Artificial Analysis는 두 Wonder 모델 모두에 대해 작업당 약 54,000개의 출력 토큰을 측정했으며, 이는 Gemini 4 Argon의 62,000개, Claude Fable 5.1의 78,000개, GPT-6 Astra의 27,000개와 비교됩니다.

입력 사용량은 그보다 더 높습니다. Wonder는 인덱스 전체에서 769만 개의 입력 토큰을 사용한 반면, Wonder Full은 644만 개를 사용하여 OpenAI 및 Google 모델보다 두 배에서 일곱 배가 더 많았습니다. 결과적으로, Wonder의 작업당 측정 비용은 $4.52였습니다. 이는 Opus 5.5의 $5.98보다 낮았지만, Astra의 목록 가격이 2.5배 더 높음에도 불구하고 GPT-6 Astra의 $3.26보다는 높은 수치입니다.

Muse Wonder 가격 책정 게시물은 이러한 수치가 실제 워크로드에서 무엇을 의미하는지 분석합니다.

직접 테스트해 볼 것들

벤치마크는 어디를 조사해야 하는지를 보여줄 뿐, 무엇을 출시(ship)해야 하는지를 알려주지는 않습니다. 만약 Meta가 주장하는 에이전트적 강점(agentic strengths)에 관심이 있다면, 스스로 장시간 실행되는 작업을 테스트해 보세요: 30단계 리팩토링, 다중 문서 검토, 또는 의도적으로 실패를 주입한 도구 루프 등이 있습니다.

Apidog에서 동일한 프롬프트와 도구 정의를 Muse Wonder, Claude Opus 5.5, 그리고 현재 사용 중인 모델에 적용해 보세요. 구조화된 출력(structured output)을 검증하고 모든 실행에 대한 토큰 사용량을 비교하십시오.

유용한 평가 기록은 다음과 같을 수 있습니다:

{
  "model": "muse-wonder-1.0",
  "task": "30-step-refactor",
...

단일 통과 응답뿐만 아니라, 분산(variance)을 확인하기 위해 충분한 반복 횟수를 실행한 다음 성공률, 복구 동작(recovery behavior), 구조화된 출력 신뢰성(structured-output reliability), 그리고 총 토큰 사용량을 비교해야 합니다.

tool-call test harness와 non-deterministic agent testing guide에서 설정 방법을 자세히 다루고 있습니다. 또한 Apidog을 다운로드하여 모델들을 나란히 비교할 수 있습니다.

공개 API는 Muse Wonder를 서비스하며, Muse Wonder Full을 서비스하는 것이 아님을 기억하세요. Meta의 최첨단 결과에 대한 많은 벤치마크 헤드라인은 현재 호출할 수 없는 모델에 대해 설명하고 있을 수 있습니다.

자주 묻는 질문

Muse Wonder가 사용 가능한 최고의 모델인가요?

독립적인 종합 점수로는 아닙니다. Claude Opus 5.5가 58점을 기록했고, Wonder Full이 56점, Wonder가 52점을 기록했습니다. Wonder Full은 SWE-Marathon, DeepSWE, Harvey LAB, FocusBench를 포함한 여러 특정 에이전트 벤치마크에서 우위를 점합니다.

어떤 벤치마크를 신뢰할 수 있나요?

Artificial Analysis 결과는 제3자이며 재현 가능합니다. Meta의 크로스 모델 표는 Meta가 실행한 것이며 최선의 노력으로 경쟁사 설정을 사용했습니다. MemoryBench, FocusBench, 그리고 Personal Superintelligence Index는 현재 Meta 전용입니다.

Muse Wonder와 Gemini 4 Argon은 어떻게 비교되나요?

Gemini 4 Argon은 지수에서 53점을 기록하여 Wonder의 52점보다 높으며 가격은 절반입니다. Argon은 Terminal-Bench에서 Wonder Full과 57%로 동률이며 환각(hallucination)율이 더 낮습니다: Wonder가 27%인 것에 비해 15%입니다. Gemini 4 Argon 벤치마크 게시물에 전체 비교가 포함되어 있습니다.

최대 노력(maximum effort)이 Muse Wonder를 Muse Wonder Full로 만드나요?

아닙니다. 노력이 모델의 추론 시간만 바꿀 뿐, muse-wonder-1.0을 Muse Wonder Full로 만들지는 못합니다.

다음 단계 (Next step)

실제 작업 부하(workload)와 가장 가까운 벤치마크를 선택하세요. 긴 코딩 실행에는 SWE-Marathon을, 사실적 회상(factual recall)에는 AA-Omniscience를 사용한 후, Muse Wonder가 시도해 볼 가치가 있는지 결정하기 전에 자체 작업을 수행해야 합니다. 종합 지수만으로는 그 질문에 답할 수 없습니다.