MultiHashFormer: 해시 기반 생성 언어 모델 (Hash-based Generative Language Models)

요약

MultiHashFormer는 해시 기반 자기회귀를 통해 임베딩 행렬의 파라미터 효율성을 높인 새로운 언어 모델 프레임워크입니다. 여러 해시 함수를 사용해 토큰을 고유한 해시 시그니처로 표현함으로써 기존의 충돌 문제를 해결하고 성능을 개선했습니다.

핵심 포인트

• 해시 시그니처를 활용한 파라미터 효율적 임베딩 방식 제안
• 다대일 충돌 문제를 해결하여 인과적 언어 모델 적용 가능
• 100M~3B 규모 모델 실험 결과 표준 Transformer 모델 능가
• 추가 수정 없이 다국어 어휘 확장이 가능한 유연성 확보