N-그램의 한계를 넘어서: 데이터 기반 X-GRAM을 통한 효율적인 임베딩 스케일링

대규모 토큰 인덱스 룩업 테이블은 계산 복잡도(compute)와 분리된 스케일링 경로를 제공하여 매력적이지만, 실제 구현에서는 매개변수 효율성 저하와 급격한 메모리 증가라는 실질적인 한계에 부딪힙니다. 이러한 제약의 근본 원인은 롱테일 영역의 지프프(Zipfian) 학습 부족, 레이어 간 이질적인 수요 패턴, 그리고 중복된 임베딩을 생성하는 '슬롯 붕괴(slot collapse)' 현상 때문입니다.

이러한 문제들을 해결하기 위해 본 논문은 X-GRAM이라는 주파수 인식형 동적 토큰 주입 프레임워크를 제안합니다. X-GRAM의 핵심은 효율적인 메모리 관리와 정보 추출에 있습니다. 첫째, 하이브리드 해싱(hybrid hashing)과 별칭 혼합(alias mixing) 기법을 결합하여 희소한 꼬리 부분 토큰들을 효과적으로 압축하는 동시에, 자주 사용되는 헤드 토큰의 용량은 온전히 보존합니다.

둘째, 추출된 벡터들은 정규화된 SwiGLU ShortConv를 거치며 세련됩니다. 이 과정을 통해 단순히 토큰을 검색하는 것을 넘어, 다양한 지역 n-gram 특징(local n-gram features)을 효과적으로 추출할 수 있습니다. 이렇게 얻어진 신호는 깊이 인식 게이팅(depth-aware gating) 메커니즘을 사용하여 어텐션 값 스트림(attention value streams)과 인터레이어 잔차(inter-layer residuals)에 통합됩니다. 이 방식은 정적인 메모리 구조와 동적인 문맥 정보를 효과적으로 연결하여 모델의 성능을 높입니다.

가장 중요한 기여는 메모리 중심 스케일링 축을 도입했다는 점입니다. X-GRAM은 모델의 전체 용량(capacity)을 계산 복잡도(FLOPs)와 분리하는 새로운 패러다임을 제시합니다. 이는 메모리가 병목이 되는 미래의 대규모 AI 아키텍처에 매우 실용적이고 확장 가능한 해결책을 제공합니다.

실험 결과는 X-GRAM의 우수성을 명확히 보여줍니다. 0.73B 및 1.15B 규모에서 테스트된 결과, X-GRAM은 기본 백본(vanilla backbone) 대비 평균 정확도를 최대 4.4점까지 향상시켰으며, 강력한 검색 기반 모델(strong retrieval baselines)과 비교했을 때도 3.2점의 성능 개선을 보였습니다. 특히 주목할 점은, 이 모든 성능 향상을 달성하면서도 설정된 메모리 용량(50% configuration)에서 훨씬 더 작은 테이블 크기를 사용했다는 것입니다. 이는 X-GRAM이 단순한 성능 개선을 넘어, 자원 효율성을 극대화했음을 의미합니다.