Claude Token Counter, 모델 비교 기능 추가

제가 사용하는 Claude Token Counter 도구를 업그레이드하여 여러 모델에 대해 동일한 토큰 카운트를 실행하고 이를 비교할 수 있는 기능을 추가했습니다.

제가 알기로는 Opus 4.7이 토크나이저(tokenizer)를 변경한 첫 번째 모델이기 때문에, 비교는 4.7과 4.6 사이에서만 의미가 있습니다. 하지만 Claude token counting API는 모든 Claude 모델 ID를 허용하므로, 현재 주목할 만한 네 가지 모델(Opus 4.7 및 4.6, Sonnet 4.6, Haiku 4.5)에 대한 옵션을 모두 포함했습니다.

Anthropic은 Opus 4.7 발표에서 다음과 같이 언급했습니다:

Opus 4.7은 모델이 텍스트를 처리하는 방식을 개선한 업데이트된 토크나이저(tokenizer)를 사용합니다. 그 대가로 동일한 입력이 더 많은 토큰으로 매핑될 수 있습니다—콘텐츠 유형에 따라 약 1.0–1.35배입니다.

저는 Opus 4.7 시스템 프롬프트를 토큰 카운팅 도구에 붙여넣어 본 결과, Opus 4.7 토크나이저가 Opus 4.6보다 1.46배 많은 토큰을 사용한다는 것을 발견했습니다.

Opus 4.7은 Opus 4.6과 동일한 가격 책정($5/백만 입력 토큰, $25/백만 출력 토큰)을 사용하지만, 이러한 토큰 인플레이션(token inflation)으로 인해 실제로는 약 40% 더 비쌀 것으로 예상됩니다.

토큰 카운터 도구는 이미지도 처리할 수 있습니다. Opus 4.7은 다음과 같이 설명된 것처럼 개선된 이미지 지원 기능을 가지고 있습니다:

Opus 4.7은 고해상도 이미지에 대한 향상된 시각 능력(vision)을 갖추고 있습니다: 긴 변의 길이가 최대 2,576픽셀(약 3.75 메가픽셀)까지 이미지를 수용할 수 있으며, 이는 이전 Claude 모델보다 세 배 이상 많습니다.

저는 3456x2234 픽셀, 3.7MB PNG 파일의 토큰을 계산해 보았고, 4.6에 비해 4.7에서 3.01배 더 많은 토큰 증가를 얻었습니다:

업데이트: 이미지에 대한 3배 증가는 전적으로 Opus 4.7이 더 높은 해상도를 처리할 수 있기 때문입니다. 저는 682x318 픽셀의 이미지를 다시 시도했고, Opus 4.7에서는 314 토큰, Opus 4.6에서는 310 토큰이 소요되어 실질적으로 비용 차이가 거의 없었습니다.

업데이트 2: 저는 15MB 크기의 30페이지 분량의 텍스트가 많은 PDF 파일을 시도했고, Opus 4.7은 60,934 토큰을 보고한 반면 4.6은 56,482 토큰을 보고했습니다—이는 1.08배 배율로, 제가 원본 텍스트에서 얻었던 배율보다 상당히 낮았습니다.