Two-Level Softmax 샘플링의 올바른 구현: 크기 불균형 및 분산 편향 보정

요약

본 논문은 대규모 환경에서 Softmax 샘플링의 비효율성을 해결하는 Two-level softmax (2LS)를 다룹니다. 하지만 2LS가 클러스터 크기 불균형 및 유사도 분산을 무시하여 발생하는 체계적인 편향 문제를 지적합니다. 이에 연구진은 이를 보정하고 성능을 개선한 Size-Corrected 2LS (S-2LS)와 Size- and Dispersion-Corrected 2LS (SD-2LS)를 제안했습니다.

핵심 포인트

• Softmax 샘플링의 대규모 환경 비효율성을 해결하기 위해 2LS가 사용됨.
• 기존 2LS는 클러스터 크기 불균형 및 분산을 무시하여 편향을 유발함.
• S-2LS와 SD-2LS를 제안하여 기존의 샘플링 편향 문제를 보정하고 성능을 개선함.
• 제안된 방법들은 표준 2LS 대신 일관되게 사용될 것을 권장됨.