Transformers에서의 효과적인 컨텍스트: 파편화(Fragmentation)와 토큰화(Tokenization)에 관한 분석

요약

본 논문은 Transformer 모델의 예측 성능에 영향을 미치는 표현 단위(바이트, 문자, 서브워드 등) 선택 문제를 정보 이론적 관점에서 분석합니다. 연구진은 '파편화'와 '토큰화'라는 두 가지 상호 보완적인 현상을 발견했습니다. 파편화는 더 작은 표현 단위가 유한 컨텍스트에서 성능 저하를 일으킬 수 있음을 증명하며, 토큰화는 짧은 토큰 창이 긴 소스 컨텍스트처럼 작동하게 만드는 메커니즘을 제시합니다.

핵심 포인트

• 파편화(Fragmentation)는 더 작은 표현 단위가 유한 컨텍스트에서 최적의 성능을 저해할 수 있음을 이론적으로 증명한다.
• 토큰화(Tokenization)는 소스 심볼을 그룹화하여 짧은 토큰 창이 긴 소스 이력을 신뢰성 있게 포괄하도록 돕는다.
• 연구 결과는 ByT5 및 CANINE과 같은 바이트/문자 수준 모델의 성능 격차에 대한 이론적 설명을 제공한다.
• 제시된 손실 보장은 실제 토크나이저가 고정된 컨텍스트 창 내에서 얼마나 많은 소스 이력을 포괄하는지 측정할 수 있는 진단법을 제공한다.