토큰 기반 임베딩의 한계 극복: SAE를 활용한 개념 공간 학습

요약

기존의 토큰(Token) 기반 Sparse IR 모델인 SPLADE는 효율적이지만, 백본 어휘집에 의존하여 다의성(polysemicity) 및 동의어 처리에서 성능 한계를 가집니다. 본 연구는 이 문제를 해결하기 위해, 기존의 토큰 어휘집을 희소 자동 인코더(Sparse Auto-Encoder, SAE)를 통해 학습된 '의미 개념 공간(latent space of semantic concepts)'으로 대체하는 SAE-SPLADE 모델을 제안합니다. 실험 결과, SAE-SPLADE는 SPLADE와 유사한 검색 성능을 달성하면서도,

핵심 포인트

• SAE-SPLADE는 기존 토큰 기반 임베딩의 한계를 극복하고 의미 개념 공간을 활용하여 성능과 효율성을 모두 개선했습니다.
• Sparse Auto-Encoder (SAE)를 사용하여 학습된 잠재 개념 공간(latent space of semantic concepts)이 백본 어휘집의 제약을 뛰어넘어 다국어 및 멀티모달 사용에 유리합니다.
• 제안된 SAE-SPLADE 모델은 기존 SPLADE와 비교하여 도메인 내외(in-domain/out-of-domain) 검색 작업에서 유사한 수준의 성능을 유지하면서 효율성을 높였습니다.