TIDE: Every Layer Knows the Token Beneath the Context

요약

본 논문은 현대 LLM의 설계 선택 중 하나인 '토큰 인덱스 폐기' 문제에 주목하며, 이것이 희귀 토큰 과소 학습과 컨텍스트 붕괴라는 두 가지 구조적 실패를 초래한다고 지적합니다. 이를 해결하기 위해 TIDE(Token Identity Embedding)라는 새로운 아키텍처를 제안합니다. TIDE는 표준 트랜스포머에 '임베딩 메모리'를 추가하여, 토큰 인덱스를 컨텍스트와 독립적인 의미 벡터로 변환하고 이 정보를 모든 레이어에 주입함으로써 모델의 표현력을 강화합니다.

핵심 포인트

• 기존 LLM은 입력 임베딩 레이어에서 토큰 인덱스를 한 번만 사용한 후 폐기하는 경향이 있어 구조적 문제를 야기한다.
• 주요 문제점으로는 희귀 토큰의 과소 학습(Rare Token Problem)과 컨텍스트 붕괴(Context Collapse)가 있다.
• TIDE는 표준 트랜스포머를 '임베딩 메모리'로 보강하는 방식을 제안한다.
• 이 임베딩 메모리는 K개의 독립적인 MemoryBlocks 앙상블을 사용하여 토큰 인덱스를 컨텍스트 비의존적 의미 벡터로 변환하고 모든 레이어에 주입된다.