비지도 단어 발견 (Unsupervised Word Discovery)에서의 어휘 평가 재고

발견된 단어 유사 단위(word-like units)로부터 어휘(lexicon)를 구축하는 것은 제로 리소스 음성 처리 (zero-resource speech processing)의 핵심 목표입니다. 하지만 우리의 평가 방식이 어휘 품질에 대한 신뢰할 수 있는 지표를 제공하고 있을까요? 일반적인 지표인 정규화된 편집 거리 (normalized edit distance)는 각 클러스터 (cluster) 내에서 발견된 단위들 사이의 음소 편집 거리 (phoneme edit distances)를 평균합니다. 우리는 이 지표가 큰 클러스터의 품질에 대해 내재적인 편향 (bias)을 가지고 있어 공정한 평가를 저해한다는 것을 보여줍니다. 더욱이, 이 지표는 실제 클래스 (true classes)가 클러스터 전체에 얼마나 잘 분포되어 있는지를 무시합니다. 클러스터링 (clustering) 문헌의 확립된 이론을 바탕으로, 우리는 이러한 단점들을 해결하는 두 가지 지표를 제안합니다: 클러스터 내 일관성 (within-cluster consistency)을 평가할 때 클러스터 크기에 가중치를 두는 수정된 지표와, 실제 단어들이 클러스터에 어떻게 퍼져 있는지를 평가하는 역 지표 (inverse metric)입니다. 합성 및 실제 어휘를 대상으로 한 실험을 통해, 우리는 이 지표들을 결합했을 때 다음과 같은 효과가 있음을 입증합니다: (1) 어휘가 정답 분포 (ground-truth distribution)와 얼마나 유사한지와 더 밀접하게 상관관계가 있으며, (2) 어휘 평가를 왜곡하는 편향에 대해 더 강력한 견고성 (robustness)을 가집니다.