Fast Byte Latent Transformer

요약

본 논문은 기존 바이트 레벨 언어 모델(LM)이 느린 자동회귀 생성 속도 때문에 활용도가 제한적이라는 문제를 해결하기 위한 Byte Latent Transformer (BLT)의 개선 방안을 제시합니다. 연구진은 보조 블록 단위 확산 목적 함수를 추가하여 병렬 디코딩이 가능한 BLT Diffusion (BLT-D) 모델을 제안했습니다. 또한, 사변적 디코딩(speculative decoding)에서 영감을 받은 두 가지 확장 방식인 BLT Self-speculation (BLT-S)과 BLT Diffusion+Verification (BLT-DV)를 통해 속도와 품질을 최적화하여, 기존 BLT 대비 메모리 대역폭 비용을 50% 이상 절감할 수 있음을 입증했습니다.

핵심 포인트

• 기존 바이트 레벨 LM의 주요 병목 현상은 느린 자동회귀(autoregressive) 생성 속도입니다.
• BLT Diffusion (BLT-D)는 확산 목적 함수를 활용하여 디코딩 단계마다 여러 바이트를 병렬로 생성할 수 있게 하여 속도를 크게 개선했습니다.
• BLT Self-speculation (BLT-S)은 로컬 디코더가 초안을 작성하고 전체 모델이 검증하는 방식으로 효율성을 높였습니다.
• BLT Diffusion+Verification (BLT-DV)는 확산 기반 생성 후 자동회귀적 검증 단계를 추가하여 품질과 속도를 모두 보강했습니다.
• 제안된 모든 방법은 기존 BLT 대비 메모리 대역폭 비용을 50% 이상 절감할 수 있습니다.