
Hello World로 비교하는, AI에게 '가벼운' 프로그래밍 언어
요약
AI에게 코드를 생성하게 할 때 언어별로 토큰 사용량에 차이가 발생함을 실험했습니다. 'Hello World' 예제를 통해 Python과 Zig 등 주요 언어의 토큰 수를 측정한 결과, 언어 사양 자체가 요구하는 관례적인 코드 양 때문에 큰 차이(최대 5배)가 나타남을 분석합니다.
핵심 포인트
- AI에게 코드를 요청할 때 언어별로 비용(토큰 수) 차이가 발생한다.
- 언어 사양 자체가 요구하는 관례적인 코드 양에 따라 토큰 수가 달라진다.
- Python과 Zig 등 주요 언어의 'Hello World' 예제에서 최대 5배까지 토큰 차이를 확인했다.
이 글은 'Python은 아마 그런 의미는 아닐 것이다' 시리즈의 특별 편입니다.
Python 경력 5년 이상, 메인으로 계속 사용해 온 변태가 작성했습니다.
이 글은 개인의 경험에 기반한 에세이(poem)입니다.
환경・용도・경험에 따라 다를 수 있습니다.
AI에게 코드를 작성하게 할 때, 언어마다 비용이 다릅니다.
그것을 깨달은 것은 단순한 의문에서 시작되었습니다.
'Hello World'를 작성하게 하는 것만으로도, 언어별로 토큰 수가 얼마나 차이가 날까?
OpenAI의 최신 5.x 계열 토크나이저를 사용하여 주요 언어의 'Hello World'를 실제로 측정해 보았습니다.
먼저 결과를 말씀드립니다.
| 순위 | 언어 | Tokens | Characters |
|---|---|---|---|
| 1 | Python | 6 | 22 |
| ... | |||
| 가장 적은 Python・Ruby 계열이 6 토큰인 것에 비해, 가장 많은 Zig는 30 토큰입니다. 5배의 차이가 있습니다. |
그 이유는 간단합니다. 언어 사양(language specification)으로서, 작성해야 하는 '관례적인' 양이 다르기 때문입니다.
Python은 `print(
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기