토큰 해싱 (Token hashing)은 더 이상 인코더만을 위한 것이 아닙니다
요약
MultiHashFormer는 토큰 해싱 기술을 인과적 언어 모델(causal LMs)에 도입하여 임베딩 메모리를 획기적으로 절감하는 연구입니다. 멀티 ID 시그니처를 활용한 해시 기반 자기회귀 방식을 통해 기존 트랜스포머 모델보다 효율적이고 뛰어난 성능을 입증했습니다.
핵심 포인트
- 토큰 해싱을 인과적 언어 모델에 적용하여 메모리 효율성 극대화
- 멀티 ID 시그니처를 통한 해시 기반 자기회귀 방식 도입
- 100M~3B 규모의 표준 트랜스포머 대비 우수한 성능 달성
- 임베딩 메모리 사용량을 대폭 절감하는 구조적 혁신
토큰 해싱 (Token hashing)은 더 이상 인코더만을 위한 것이 아닙니다
MultiHashFormer는 고유한 멀티 ID 시그니처 (multi-ID signatures)를 통해 인과적 언어 모델 (causal LMs)에 해시 기반 자기회귀 (hash-based autoregression)를 도입하여, 임베딩 메모리 (embedding memory)를 대폭 절감하고 100M에서 3B 파라미터 규모의 표준 트랜스포머 (Transformers) 모델보다 뛰어난 성능을 보여줍니다.
Hugging Face의 체크포인트 (Checkpoints, 100M–3B):
https://huggingface.co/collections/klein9692/hf_decoder-3b
논문 (Paper):
https://paperswithcode.co/paper/2606.28057
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0