클러스터가 전부다: 해석 가능성을 위해 언어 모델의 의미론적 클러스터를 활용한 Tsetlin Machine의 사전 학습

요약

해석 가능한 Tsetlin Machine(TM)의 성능을 높이기 위해 언어 모델의 의미론적 클러스터를 활용하는 새로운 사전 학습 프레임워크를 제안합니다. 임베딩 없이 클러스터링을 통해 지식을 전달함으로써, TM이 해석 가능성을 유지하면서도 BERT 수준의 성능을 달성하도록 합니다.

핵심 포인트

• 임베딩 없이 언어 모델의 의미론적 정보를 TM에 전달하는 프레임워크 제안
• K-means 및 Top2Vec을 활용한 의미론적 클러스터링 기반 사전 학습
• 해석 가능한 키워드 학습을 통해 TM의 문맥 이해 능력 강화
• 기존 TM 대비 성능을 크게 향상시키며 BERT와 경쟁 가능한 수준 도달