단어 의미의 폭에 대한 정확하고 효율적인 통계적 검정

단어 의미의 폭, 즉 다양한 문맥에 걸친 확산 정도를 측정하는 것이 문맥화된 토큰 임베딩 덕분에 가능해졌습니다. 단어 유형은 토큰 벡터들의 구름으로 표현될 수 있으며, 분산 기반 통계가 문맥적 다양성의 대리 지표 역할을 합니다 (Nagata and Tanaka-Ishii, ACL2025). 이러한 측정값들은 시소러스(thesauri)와 도메인별 사전을 구축할 때 적절한 의미 구분을 결정하는 데 유용합니다. 하지만 두 단어 유형의 폭을 비교할 때, 분산에 대한 단순한 가설 검정은 오해를 불러일으킬 수 있습니다. 즉, 의미 방향의 차이가 분산의 차이로 위장하여 제1종 오류(Type-I error)를 증가시키고 실제 폭의 차이가 없음에도 '통계적으로 유의미한' 결과를 산출할 수 있습니다. 이는 통계적 유의성 검정이 진정한 효과와 작은 차이 영역에서의 우발적인 변동을 구별해야 하므로 문제가 됩니다. 본 논문에서는 분산의 차이를 방향성의 차이로부터 분리하기 위해 Householder-aligned permutation test를 제안합니다. 저희 방법은 단어 유형 두 개의 평균 방향을 정렬하는 데 단일 Householder 반사(Householder reflection)를 적용한 다음, 정렬된 토큰 구름에 대해 순열 검정(permutation test)을 수행하여 보정되고 비모수적인 p-값을 산출합니다. 실용성을 위해, 저희는 순열 및 선형 대수 연산을 배치 처리하는 GPU 기반 구현을 도입했습니다.

실험적으로(Empirically), 저희의 정렬 방식은 제1종 오류(Type-I error)를 32.5% 감소시키는 동시에 진정한 폭 차이에 대한 민감도(sensitivity)는 유지했으며, CPU 기준선 대비 23배의 속도 향상(speedup)을 달성했습니다.