Toki Pona를 통한 Word2Vec의 한계 검토

Word2Vec의 의미론적 임베딩 (semantic embeddings) 생성 효과는 널리 검증되어 왔으나, 거의 독점적으로 어휘 목록이 방대한 언어들을 대상으로만 테스트되었습니다. 본 연구는 약 130개의 단어로 구성된 인공어인 Toki Pona의 데이터를 사용하여, Word2Vec이 극도로 축소된 어휘 내에서도 의미론적 관계를 성공적으로 포착할 수 있는지 조사합니다. 우리는 학습을 위해 Toki Pona 커뮤니티로부터 140만 개의 문장(795만 개의 토큰)을 확보했습니다. 코퍼스 내 문장의 약 23%는 고유 명사, 외래어, 신조어와 같은 비-Toki Pona 토큰을 포함하고 있습니다. 이러한 언어적 노이즈가 성능을 향상시키는지 혹은 저해하는지 -- 단어 임베딩 문헌에서 거의 다뤄지지 않은 주제인 -- 조사하기 위해, 우리는 두 가지 별도의 모델을 학습시켰습니다: 하나는 이러한 부수적인 토큰들을 유지하는 모델이고, 다른 하나는 이들을 완전히 필터링하여 제거하는 모델입니다. 평가는 의미론적 카테고리 중심점(semantic category centroids)에 대한 단어 근접성을 측정하는 정량적 방법, 응집형 클러스터링 (agglomerative clustering)을 통한 자동 실루엣 점수 (silhouette scores), 그리고 영어와 비교한 표현 유사도 행렬 (representational similarity matrices)을 활용한 정성적 분석을 통해 수행되었습니다. 결과에 따르면, 희소한 비핵심 토큰들이 학습된 임베딩의 상대적 구조에는 영향을 미치지 않지만, 실제로 벡터 공간에서 유사한 단어들을 더 가깝게 끌어당기는 것으로 나타났습니다. 중요한 점은, Word2Vec의 효과는 이러한 극단적인 하한선에서도 어휘 크기보다 분포 패턴 (distributional patterns)에 더 의존한다는 것입니다.