의미 속의 순서, 순서 속의 의미: 키프레이즈 평가를 위한 의미론적 R-precision

자동 생성된 키프레이즈 (keyphrases)의 품질을 평가하는 것은 여전히 복잡한 과제로 남아 있습니다. 전통적인 지표들은 정확한 어휘 일치 (exact lexical matching)에 의존하거나, 예측 순위 (prediction ranking)를 무시한 채 의미론적 유사성 (semantic similarity)만을 고려하는데, 이 두 방식 모두 인간이 정보성 (informativeness)과 관련성 (relevance)을 판단하는 방식과는 일치하지 않습니다. 우리는 순위 인지형 R-precision 프레임워크에 의미론적 유사성을 통합한 새로운 평가 지표인 Semantic R-Precision (SemR-p)을 소개합니다. 정보 검색 (Information Retrieval) 지표에서 영감을 얻어 인간 중심적 관점에서 설계된 SemR-p는 출력 리스트의 앞부분에 나타나는 의미론적으로 관련 있는 키프레이즈에 가산점을 부여합니다. 우리는 다양한 모델과 데이터셋에 걸쳐 SemR-p의 의미론적 민감도 (semantic sensitivity), 순위 인지 능력 (ranking awareness), 그리고 판별력 (discriminative power)을 평가하기 위해 광범위한 분석을 수행했습니다. 결과에 따르면 SemR-p는 키프레이즈 예측을 평가하기 위한 상호 보완적인 관점을 제공하며, 전통적인 어휘 및 의미론적 일치 지표와 더불어 사용자 중심의 관련성 개념을 더 잘 반영하는 데 도움을 줍니다.