[논문] The COUNT: N-gram 개수를 세는 것이 호스트 메모리에서의 확장성과 학습 없는 적응을 가능하게 하다

요약

본 논문은 n-gram 개수(COUNT)를 호스트 메모리에 저장하여, 추가적인 학습 가능한 매개변수 없이도 효율적으로 n-gram 임베딩을 구축하는 방법을 제안합니다. 이를 통해 GPU 메모리 제약 하에서도 모델의 확장성과 성능 개선을 달성할 수 있습니다. 특히 COUNT는 사전 계산된 코퍼스 빈도수를 활용하며, 추론 시 새로운 도메인에 대한 훈련 없이 적응(adaptation)이 가능하여 효율적입니다.

핵심 포인트

• COUNT를 통해 호스트 메모리에서 n-gram 임베딩을 구축합니다.
• 추가 학습 매개변수 없이 모델의 확장성과 성능 개선을 이룹니다.
• GPU 메모리가 제한적일 때 효과적인 대안을 제공합니다.
• 도메인별 코퍼스 전환만으로 훈련 없는 적응이 가능합니다.