의미 공간의 기하학: 이산 모델과 연속 모델의 비교 연구

본 연구는 NLP (자연어 처리) 모델의 근간이 되는 의미론적 기하학 (semantic geometry)을 조사합니다. 우리는 CamemBERT와 같은 지도 학습 기반 벡터 임베딩 (supervised vector embeddings)을 의미 관계를 더 직접적으로 인코딩하는 어휘 공기 그래프 (lexical co-occurrence graphs)와 비교합니다. Transformer 기반 임베딩은 강력한 성능을 달성하지만, 이들이 유도하는 기하학적 구조는 종종 만족스럽지 않은 분포를 보입니다. 반면, 그래프 기반 모델은 더 명확하고 인간이 읽기 쉬운 의미의 조직화를 보여줍니다. 우리는 그래프의 구조 또는 이 두 가지 접근 방식에 의해 유도된 임베딩의 위상 (topology)을 기반으로 비교 분석을 수행할 수 있는 방법론을 구현했습니다. 공공 토론에 대한 시민들의 기여 모음인 프랑스의 "대국민 토론 (Great National Debate)" 코퍼스에 적용한 비교 결과, 국소적 위상 (local topology)은 유사하지만 전체적인 구조와 위상은 매우 다르다는 것을 보여줍니다. 이러한 발견은 심층 지도 학습 모델과 그래프 기반 모델 사이의 상호 보완적인 관점을 시사하며, 신경망 구조 (neural architectures)가 그래프 구조와 더 안정적이고 해석 가능한 수렴 (convergence)을 이룰 수 있도록 안내하는 새로운 경로를 고려하게 합니다.