바이트 언어 모델: 스케일링, 출현적 추상화 및 정보 할당

이 논문은 언어 모델이 효율적으로 작동하기 위해 명시적인 토크나이저가 필요하다는 가정에 이의를 제기하며, 표준 플랫 트랜스포머(Transformers)가 원시 바이트 시퀀스를 처리할 수 있으며, 파라미터 크기가 커짐에 따라 기존 서브워드 모델보다 실제로 더 나은 성능을 낸다는 것을 입증합니다. 이 분야의 지배적인 생각은 원시 바이트를 처리하는 것이 시퀀스가 상당히 길기 때문에 계산적으로 비효율적이라는 것이었습니다. 일반적인 서브워드는 약 네 개의 바이트를 포함합니다. 저자들은 이러한 추가적인 시퀀스 길이가 실제로는 동일한 파라미터 예산 하에서 유용한 추가 연산을 제공하는 특징이라고 주장합니다. 토큰-초월 중첩 학습(token-superposition training)과 해시 임베딩(hash embeddings)을 구현함으로써, 바이트 모델은 일치하는 파라미터 수에서 서브워드 모델보다 지속적으로 더 낮은 최적 손실(optimal loss)에 도달합니다.

또한 바이트 모델이 명시적인 텍스트 추상화의 부족함을 어떻게 처리하는지 살펴보는 것도 흥미롭습니다. 우리는 보통 토크나이저에 의존하여 문자를 의미 있는 청크로 그룹화하지만, 전문화된 계층적 아키텍처가 필요하지 않아도 바이트 트랜스포머(byte Transformers)가 암묵적으로 자체적인 국소적 추상화를 개발한다는 것이 밝혀졌습니다. 복사 작업(copying task)에 테스트했을 때, 모델의 어텐션은 텍스트 전체에 걸쳐 균일하게 주의를 기울이기보다는 특정 분할 위치의 작은 세트에 집중하는 경향을 보였습니다. 연구자들은 최대 4분의 1까지 중간 레이어(intermediate layers)를 고정하고 이들이 오직 이러한 국소적으로 집계된 표현만을 처리하도록 강제함으로써, 이러한 내부 구조의 강도를 입증했습니다. 모델은 추가적인 학습 없이도 다운스트림 성능을 유지했으며, 이는 표준 트랜스포머 내에서 국소적 추상화와 전역적 추론의 계층 구조가 자연스럽게 출현한다는 것을 증명합니다.

또한, 바이트별 손실 분포(per-byte loss distribution)는 서브워드 모델과 비교하여 막대한 분산(massive variance)을 보였습니다. 엄청난 수의 바이트 위치가 거의 0에 가까운 손실을 보여주는데, 이는 모델이 단어 내 대부분의 바이트에 대해 높은 확신도를 가지고 있으며, 실제 정보 밀도가 존재하는 학습된 국소 구조(local structures)의 경계 근처에서만 어려움을 겪는다는 것을 의미합니다. 이는 추측 디코딩(speculative decoding)을 위한 거대한 기회를 창출합니다. 많은 바이트가 예측 가능한 연속(predictable continuations)이기 때문에, 작은 드래프팅 모델(drafting model)이 시퀀스의 큰 청크를 정확하게 추측할 수 있습니다. 저자들은 바이트 수준의 드래프팅 모델이 서브워드 동등 모델보다 타겟 순방향 패스당 약 3.4배 더 많은 승인된 토큰을 얻는다는 것을 발견했으며, 이는 개별 바이트 처리의 순차적 오버헤드를 쉽게 상쇄합니다.

실증 테스트에서, 바이트 트랜스포머(byte Transformers)는 세밀한 인식(fine-grained perception)이 필요한 작업에서 막대한 개선을 보여주었습니다. 이들은 CUTE 단어 조작 점수에서 약 40%의 상대적 향상과 OCRBench에서 20%의 향상을 서브워드 모델 대비 달성했습니다. 미래 언어 모델 설계에 대한 시사점은 우리가 경직된(rigid) 서브워드 어휘집(vocabulary)의 끝에 다가서고 있을 수 있다는 것입니다. 시퀀스 길이, 학습된 추상화(learned abstractions), 그리고 컴퓨트 할당(compute allocation)이 이제 미래 아키텍처를 위한 밀접하게 연결된 차원들입니다. 바이트를 압축하기 위해 복잡한 계층적 네트워크(hierarchical networks)를 구축하는 대신, 설계자들은 희소 전문가 혼합(sparse mixture of experts)을 가진 평평한 트랜스포머(flat Transformers)를 사용하여 활성화되는 컴퓨팅을 줄이면서 모델이 텍스트의 가장 어려운 부분에 동적으로 컴퓨트를 할당하도록 할 수 있습니다. 이는 또한 바이트 수준 표현이 임의의 서브워드 토큰보다 세밀한 시각적 특징과 훨씬 더 잘 정렬되기 때문에 멀티모달 모델(multimodal models)을 급격히 개선할 수도 있습니다.

Comments