@kloss_xyz @DevinAI Fusion은 훌륭해 보입니다. 그리고 Fable과 SWE-2 조합이 사람들이 가장 먼저 시도해야 할 조합이라는 데 동의합니다. 다만, 제가 수정하고 싶은 부분은 벤치마크 점수에 부여된 노력 수준(effort level)입니다. 스크린샷에 있는 High 설정은 여러분이 추천하는 구성이지, 발표된 결과에 사용된 Artificial Analysis의 구성은 아닙니다.[1]

Artificial Analysis는 Fable 5.1을 xhigh로, SWE-2를 medium으로 테스트했습니다. 또한 Astra도 xhigh로, SWE-2를 medium으로 테스트했습니다.[1] 이들이 바로 Fable의 61.7점과 Astra의 58.9점을 기록한 Fusion 구성입니다. Fable High가 여전히 매우 잘 작동할 수는 있지만, 벤치마크는 그것이 61.7점에 도달했음을 보여주지 않습니다.

단독 비교(solo comparisons)는 훨씬 더 높은 노력 수준에서 실행되었습니다. Fable 5.1은 Claude Code에서 max와 fallback을 사용했고, Astra는 Codex에서 max를 사용했습니다.[2] 따라서 주장할 수 있는 내용은 xhigh 리드와 medium 사이드킥을 가진 Fusion이 비용을 덜 들여 최대 노력 단독 실행에 근접했다는 것입니다. 리드를 xhigh에서 High로 낮추면 점수와 절감액 모두가 달라질 수 있습니다.

이 모든 것이 Fusion의 가치를 떨어뜨리는 것은 아닙니다. Fable xhigh + SWE-2 medium 조합이 61.7점을 기록한 것이, Fable max 단독 실행의 62.2점 대비 측정 비용은 36% 낮다는 점을 고려하면 강력한 결과입니다.[2] 다만 적절한 라벨링이 필요합니다. 즉, 벤치마크 점수는 xhigh + medium 조합으로 얻어졌고, High + medium은 여러분의 실질적인 추천 사항이며 별도의 실행으로 평가되어야 합니다.