N-그램의 한계를 넘어서: 데이터 기반 X-GRAM을 통한 효율적인 임베딩 스케일링

요약

대규모 토큰 인덱스 룩업 테이블은 계산 분리(compute-decoupled) 확장을 가능하게 하지만, 매개변수 비효율성과 급격한 메모리 증가라는 한계에 직면합니다. 본 논문은 이러한 문제를 해결하기 위해 주파수 인식형 동적 토큰 주입 프레임워크인 X-GRAM을 제안합니다. X-GRAM은 하이브리드 해싱과 별칭 혼합(alias mixing)을 사용하여 꼬리 부분(long tail)을 압축하고 헤드 용량을 유지하며, 정규화된 SwiGLU ShortConv를 통해 다양한 지역 n-gram 특징을 추출합니다. 이를 깊이 인식 게이팅(깊이

핵심 포인트

• X-GRAM은 하이브리드 해싱과 별칭 혼합을 사용하여 토큰 임베딩 테이블의 꼬리 부분(long tail)을 압축하면서도 헤드 용량을 유지합니다.
• 정규화된 SwiGLU ShortConv를 활용하여 다양한 지역 n-gram 특징을 추출하고, 이를 어텐션 값 스트림 및 인터레이어 잔차에 통합합니다.
• X-GRAM은 모델의 용량(capacity)을 FLOPs와 분리하는 메모리 중심 스케일링 축을 도입하여 효율성을 극대화했습니다.
• 0.73B 및 1.15B 규모에서 X-GRAM은 기본 백본 대비 평균 정확도를 최대 4.4점, 강력한 검색 기반 모델 대비 3.2점 향상시켰습니다.