동일 모델로 다른 에이전트 비교: 토큰 사용량, 비용 및 작업 성공률 분석

같은 모델을 사용한다고 해서 코딩 에이전트 간에 토큰 사용량이 비슷할까요?

저희는 p-queue, Click, markdown-it의 8가지 작업을 대상으로 Codex, SunnyCode Base, 그리고 SunnyCode CodeMode를 비교했습니다. 모든 테스트에는 중간 수준의 추론(medium reasoning)과 Fast off 설정을 적용한 GPT-6 Astra가 사용되었습니다. 각 설정은 각 작업을 세 번씩 실행했으며, 공유된 주요 승인 검사(primary acceptance checks)와 실패한 실행 기록을 보존했습니다.

저는 SunnyCode를 개발했기 때문에 이 비교는 독립적인 벤치마크가 아닌 개발자가 직접 수행한 비교임을 알려드립니다.

결과

실패 사례를 포함하여 설정별 평균 24회 실행 결과를 종합하면 다음과 같습니다:

가장 큰 격차는 캐시된 입력에서 발생했습니다

Codex의 추가 기록 토큰 중 96.5%가 캐시된 입력(cached input)으로 차지했습니다. 이 총합에는 단순히 생성된 코드뿐만 아니라 요청 전반에 걸쳐 처리된 컨텍스트(context)가 포함됩니다.

캐시된 입력은 할인이 적용되므로, CodeMode의 토큰 77.2% 감소는 예상 비용에서는 더 적은 53.5% 감소로 나타났습니다.

Codex가 여전히 가장 빠른 평균 완료 시간을 기록했습니다. 토큰이 적다고 해서 반드시 실행 속도가 빠르다는 의미는 아닙니다.

비용은 구독 청구서가 아닌 API 등가 추정치이며, 비캐시 입력 $10/M, 캐시 입력 $1/M, 출력 $50/M의 고정된 요율을 사용했습니다.

이것이 보여주고—보여주지 않는 것-

모델 선택과 함께 에이전트 구성을 측정할 가치가 있습니다. 캐시된 입력(cached input), 비캐시 입력(uncached input), 출력을 분리하여 비용과 함께 승인 및 시간을 비교해야 합니다.

하지만 이것은 일반적인 순위가 아닌 8가지 작업에 대한 결과입니다. 시스템 프롬프트가 달랐고, Base 실행은 나중에 수집되었으며, 제공업체/캐시 조건이 무작위화되지 않았습니다. 추가 검사에서도 주요 승인 결과를 넘어선 결함들이 발견되었습니다.

방법론 및 실행별 결과, 출처 데이터