AI 코딩 어시스턴트: 점수 대 비용 벤치마크

발표된 비용이 있는 10개의 에이전트 및 모델 항목 중, 점수와 가격 모두에서 다른 항목에 의해 능가되지 않는 것은 Claude Code + Opus 5.5 (최고 점수) 두 개뿐입니다…

tbench.ai는 리더보드와 해결된 작업당 비용을 통해 각 에이전트-모델 쌍을 66개 작업에 대해 330회 시도하며 총비용을 발표합니다. 덜 명확하게 지배되는 항목은 Claude Code + Sonnet 5.5입니다. 토큰당 목록 가격이 작업당 가격은 아닙니다.

주요 시사점

Anthropic의 Sonnet 5.5 발표에 따르면, Sonnet 5.5는 70.6%, Opus 5.5는 66.4%입니다. tbench.ai에서는 Opus 5.5가 64.8%, Sonnet 5.5가 61.8%입니다.
발표된 수치에 따르면, Opus 5.5는 54.4점, GPT-6 Astra는 53.3점, Sonnet 5.5는 xhigh 노력에서 52.1점, GPT-6 Sol은 49.3점을 기록합니다.
비용: 토큰 가격, 작업 가격, 플랜 가격 대부분의 비교에서는 세 가지 다른 가격이 혼합됩니다.

해결된 작업당 비용은 작업을 해결하는 데 드는 비용을 해결률로 나눈 후 센트 단위로 반올림한 값입니다.