임베딩의 의미 포착 능력 측정: 개념 분리 곡선(Concept Separation Curves)

요약

기존 문장 임베딩 평가 방식은 외부 분류기(classifier)에 의존하여, 좋은 성능이 임베딩 자체의 능력인지 분류기의 영향인지를 구분하기 어렵다는 한계가 있었습니다. 본 논문은 이러한 문제를 해결하기 위해 '개념 분리 곡선(Concept Separation Curves)'이라는 새로운, 분류기에 독립적인 평가 방법을 제안합니다. 이 방법은 문장에 체계적으로 구문적 노이즈나 의미 부정(semantic negations)을 주입하고, 이것이 임베딩 벡터에 미치는 영향을 정량화하여 모델의 개념적 안정성을 객관적으로 측정할 수 있게 해

핵심 포인트

• 기존 문장 임베딩 평가는 외부 분류기에 의존하여 평가 결과의 출처를 명확히 알기 어려웠습니다.
• 제안된 '개념 분리 곡선(Concept Separation Curves)'은 모델 자체의 개념 포착 능력을 객관적으로 측정하는 분류기 독립적 방법입니다.
• 이 방법은 문장에 구문적 노이즈나 의미 부정 같은 변형을 체계적으로 주입하여 임베딩에 미치는 영향을 분석합니다.
• 다중 도메인, 네덜란드어 및 영어 등 여러 언어를 활용하여 개념 분리 곡선의 범용성과 신뢰성을 입증했습니다.