엔그램의 텐서화: LLM에서 N-Gram 임베딩 간 잠재 변수 공유의 이점

현대의 언어 모델(Language Models)은 텍스트를 이산적인 토큰 수준 임베딩(token-level embeddings)을 사용하여 표현하며, 이는 반복되는 다중 토큰 패턴이 Transformer 레이어 전반에 걸쳐 암시적으로 학습되도록 강제합니다. Over-tokenized Transformers와 Engram은 모두 다중 토큰(n-gram) 메모리를 명시적으로 통합함으로써 이러한 한계를 해결하려고 시도합니다. 그러나 이들은 각 n-gram 차수(order)마다 별도의 해시 테이블(hash tables)에 의존하며, 이는 해시 충돌(hash collisions)을 유발하고 중첩된 n-gram이 기저의 잠재 구조(latent structures)를 공유하는 것을 방해합니다. 이러한 문제를 해결하기 위해, 우리는 Canonical Polyadic (CP) 형태의 공유 인자(shared factors)를 통해 텐서화된 n-gram 임베딩을 표현하는 컴팩트한 메모리 모듈인 Tensorized Engram (TN-gram)을 제안합니다. TN-gram은 서로 다른 n-gram 차수의 임베딩을 인코딩하기 위해 차수 흡수 벡터(order-absorption vectors)와 함께 공유된 토큰-위치 인자(token-position factors)를 학습합니다. 종합적인 실험을 통해 TN-gram은 훨씬 적은 매개변수(parameters)를 사용하면서도 Engram 방식의 n-gram 모듈과 대등하거나 심지어 능가하는 성능을 보여줍니다.