언어 모델은 텍스트를 서브워드 토큰 (subword tokens), 원시 바이트 (raw bytes), 또는 렌더링된 픽셀 (rendered pixels)로 인코딩하지만, 이러한 인코딩들은 대개 모델에 노출되는 언어 콘텐츠의 양이 언어마다 달라지는 모델링 제약 조건 하에서 비교되곤 합니다. 대신 우리는 콘텐츠와 다운스트림 용량 (downstream capacity)이 모두 통제되었을 때 각 인코딩이 무엇을 보존하는지 질문합니다. 13개 언어와 5개 문자를 아우르는 검증된 병렬 문장을 사용하여, 우리는 속도-효용 경계 (rate-utility frontiers)를 추적하기 위해 폭을 조절하는 공유 병목 (shared bottleneck)을 통해 토큰, 바이트, 픽셀을 비교합니다. 이를 통해 흔히 혼동되는 세 가지 양, 즉 인코딩이 생성하는 입력 위치 (input positions)의 수, 인코딩 후 사용 가능한 잠재 용량 (latent capacity), 그리고 압축 후에도 살아남는 작업 관련 정보 (task-relevant information)를 분리합니다. 우리는 세 가지 효용 (utilities)을 평가합니다: 표층 형태 보존 (surface form preservation), 교차 언어 문장 정렬 (cross-lingual sentence alignment), 그리고 주제 분류 (topic classification). 어떤 인코딩도 모든 작업이나 용량 영역에서 압도적이지 않습니다. 픽셀은 표층 형태를 가장 잘 보존하고, 바이트는 특히 동일 문자의 다국어 환경에서 교차 언어 정렬을 가장 잘 보존하며, 토큰은 주제 예측을 가장 잘 지원합니다. 이러한 성능은 시퀀스 길이 (sequence length)만으로는 설명되지 않습니다. 짧은 입력은 유용한 의미를 버릴 수 있는 반면, 긴 입력은 압축이 잘 되는 정보를 보존할 수 있습니다. 따라서 인코딩을 선택하는 것은 토큰, 바이트, 또는 픽셀에 대한 고정된 선호가 아니라, 작업, 언어 혼합, 용량 영역, 그리고 연산 예산 (compute budget)에 따라 달라지는 속도-효용 트레이드오프 (rate-utility tradeoff)입니다.