단어 의미의 폭에 대한 정확하고 효율적인 통계적 검정

요약

본 논문은 문맥화된 토큰 임베딩을 활용하여 단어 의미의 폭(semantic spread)을 측정하는 방법을 다룹니다. 기존의 분산 기반 통계적 검정 방식이 '방향성의 차이'를 '분산의 차이'로 오인하여 제1종 오류를 유발할 수 있다는 문제를 지적합니다. 이를 해결하기 위해, 본 연구는 Householder-aligned permutation test라는 새로운 비모수적 방법을 제안합니다. 이 방법은 단어 유형들의 평균 방향을 정렬한 후 순열 검정을 수행하여, 의미 폭의 진정한 차이를 정확하고 효율적으로 비교할 수 있게 합니다.

핵심 포인트

• 단어 의미의 폭(semantic spread) 측정에 문맥화된 토큰 임베딩과 분산 기반 통계가 활용됨.
• 기존의 단순 분산 비교는 '방향성' 차이로 인한 제1종 오류를 유발할 위험이 있음.
• 제안하는 Householder-aligned permutation test는 단어 유형들의 평균 방향을 정렬하여, 의미 폭의 진정한 비모수적 차이를 정확하게 검정함.
• GPU 기반 구현을 통해 실용성을 높였으며, 기존 방식 대비 제1종 오류를 감소시키고 속도를 크게 향상시킴.