임베딩의 의미 포착 능력 측정: 개념 분리 곡선(Concept Separation Curves)

문장 임베딩(Sentence embedding) 기술은 문장의 핵심 의미를 벡터 공간에 인코딩하는 것을 목표로 합니다. 하지만 현재의 평가 방식 대부분은 추가적인 분류기(classifier)나 다운스트림 태스크(downstream tasks)에 의존합니다. 이 때문에 좋은 성능이 실제로 임베딩 자체의 우수성에서 비롯된 것인지, 아니면 사용된 분류기의 특성 때문인지를 명확히 구분하기 어렵다는 근본적인 문제가 존재했습니다.

본 논문에서는 이러한 한계를 극복하고, 문장 수준의 개념을 포착하는 임베딩 방법론의 효과를 평가할 수 있는 새로운 방법을 제안합니다. 핵심은 이 접근 방식이 **분류기 독립적(classifier-independent)**이라는 점입니다.

제안된 평가는 단순히 성능 지표에 의존하는 것이 아니라, 문장에 체계적인 변형을 주입하고 그 영향을 정량적으로 분석합니다. 구체적으로는 다음 두 가지 유형의 노이즈를 활용합니다:

1. 구문적 노이즈(Syntactic noise): 문장의 구조적 측면을 교란시키는 노이즈입니다.
2. 의미 부정(Semantic negations): 문장의 의미 자체에 부정을 추가하는 변형입니다.

연구진은 이러한 변형들이 생성된 임베딩 벡터에 상대적으로 어떤 영향을 미치는지 측정합니다. 이 효과를 시각화하고 정량화하는 것이 바로 **개념 분리 곡선(Concept Separation Curves)**입니다. 이 곡선은 모델이 문장의 '개념적 변화'와 단순히 표면적인 단어의 변화('surface-level variations')를 얼마나 잘 구별할 수 있는지를 보여주는 지표가 됩니다.

연구는 여러 도메인의 데이터를 활용하고, 네덜란드어(Dutch)와 영어(English) 등 다국어를 사용하며, 문장 길이까지 고려하여 테스트를 진행했습니다. 이를 통해 개념 분리 곡선이 임베딩의 **개념적 안정성(conceptual stability)**을 평가하는 해석 가능하고(interpretable), 재현 가능하며(reproducible), 그리고 모델에 구애받지 않는(cross-model) 강력한 접근 방식임을 입증합니다.