문자열 유사도 계산 및 분류를 위한 통계적 특징의 제안 및 연구

요약

본 연구는 시각 컴퓨팅 분야에서 사용되던 공출현 행렬(COM)과 런 길이 행렬(RLM)을 일반 문자열 유사도 계산에 적용하는 방법을 제안합니다. 이 특징들은 언어적 정보에 의존하지 않는 순수 통계적 특성으로, 다양한 문맥의 문자열 비교에 활용될 수 있습니다. 실험 결과, COM 및 RLM 특징은 기존의 최첨단(state-of-the-art) 통계적 척도들보다 우수한 성능을 보였으며, 특히 실제 텍스트 표절 데이터셋에서 RLM이 가장 좋은 결과를 나타냈습니다.

핵심 포인트

• COM 및 RLM 특징을 문자열 유사도 계산에 적용하여 새로운 접근 방식을 제시함.
• 제안된 특징들은 언어적 문맥이나 문법 구조에 민감하지 않은 순수 통계적 특성임.
• 실험 결과, COM과 RLM은 기존의 최첨단(state-of-the-art) 통계적 척도들보다 우수한 성능을 입증함.
• 특히 실제 텍스트 표절 데이터셋에서는 RLM 특징이 가장 높은 성능을 보임.