ttok 1.0
요약
ttok 1.0 버전 출시와 함께, 파일 파이프 시 GPT-5/GPT-6의 토크나이저가 아닌 GPT-4 토크나이저로 기본 설정되는 문제를 해결했습니다. 또한, William Liu의 실험 결과를 통해 여러 GPT 모델(5.5, 5.6 등)이 동일한 토크나이저를 사용하며, GPT-6은 입력 개수 변화를 일으키지 않는다는 사실을 확인했습니다.
핵심 포인트
- ttok 1.0 출시로 기본 토크나이저 설정 오류 수정
- GPT-5/GPT-6 계열 모델들이 동일한 토크나이저 사용 가능성 제시
- 다양한 GPT 모델들 간의 토큰 수치 일치 확인 (44,794개)
2026년 10월 9일
ttok 0.4를 출시하고 uv tool upgrade ttok을 실행했습니다.
새 버전으로 파일을 파이프했는데, 이 파일이 명확하게 GPT-5/GPT-6의 토크나이저로 기본 설정되어야 하는데, GPT-4 토크나이저로 기본 설정되는 것을 발견했습니다!
기본 설정을 변경하는 것이 1.0 버전을 마침내 출시할 합리적인 구실이라고 생각했습니다.
OpenAI가 GPT-6이 GPT-5 계열과 동일한 토크나이저를 사용하는지 아직 확인해주지는 않았습니다. 이에 대해 논란이 있는 이슈가 있지만, William Liu가 실행한 실험 결과를 보고하는 이 커밋을 찾았습니다. 이 커밋은 토크나이저가 아마도 동일하다는 것을 확인시켜 줍니다:
일곱 개의 GPT 모델(5.5, 5.6 Sol/Terra/Luna, 6 Astra/Sol/Luna) 모두 44,794개의 토큰을 보고했으며, 31개 테스트 항목 각각에서 서로 일치했습니다. GPT-6은 이 코퍼스에 입력 개수 변화를 가져오지 않습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: Simon Willison's Weblog의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기