LLM 기반 다중 관점 증거 종합 및 추론을 통한 비지도 개체 연결

멀티모달 개체 연결(Multimodal Entity Linking, MEL)은 데이터 관리의 근간이 되는 중요한 작업으로, 다양한 양식(modality)을 가진 모호한 언급(ambiguous mentions)을 지식 베이스 내의 특정 엔티티에 매핑하는 것을 목표로 합니다. 기존의 MEL 접근 방식들은 주로 인스턴스 중심 특징과 증거 최적화에 초점을 맞추어 왔으며, 이로 인해 광범위한 형태의 증거와 그 복잡한 상호 의존성 분석이 충분히 이루어지지 못했던 한계가 있었습니다.

본 논문은 인간 전문가의 의사 결정 과정이 다중 관점적 판단에 의존한다는 관찰에서 출발하여, 대규모 언어 모델(LLMs)을 활용하는 '다중 관점 증거 종합 및 추론' 프레임워크인 MSR-MEL (Multi-perspective Evidence Synthesis and Reasoning for MEL)을 제안합니다. 이 프레임워크는 비지도(unsupervised) 방식으로 작동하며, 두 가지 주요 단계로 구성됩니다.

1. 오프라인 다중 관점 증거 종합 (Offline Multi-Perspective Evidence Synthesis)
이 단계에서는 포괄적인 증거 세트를 구축하는 것이 목표입니다. 단순히 언급과 엔티티의 개별적 정보를 넘어, 네 가지 유형의 증거를 통합합니다:

• 인스턴스 중심 증거 (Instance-centric evidence): 특정 언급 및 엔티티가 가진 멀티모달 정보를 포착합니다.
• 그룹 레벨 증거 (Group-level evidence): 이웃(neighborhood) 정보를 집계하여 핵심적인 맥락적 정보를 효과적으로 통합하는 것이 본 프레임워크의 주요 기여점입니다. 이를 위해 LLM을 강화한 컨텍스트화된 그래프(LLM-enhanced contextualized graphs)를 먼저 구축합니다. 이후, 비대칭 교사-학생 그래프 신경망(asymmetric teacher-student graph neural network)을 통해 다양한 양식 간의 정보를 공동으로 정렬(jointly aligned)합니다.
• 어휘적 증거 (Lexical evidence): 문자열 중첩 비율(string overlap ratio)에 기반하여 유사성을 측정합니다.
• 통계적 증거 (Statistical evidence): 간단한 요약 통계량에 근거하여 정보를 추출합니다.

2. 온라인 다중 관점 증거 추론 (Online Multi-Perspective Evidence Reasoning)
이 단계에서는 LLM의 강력한 추론 능력을 활용합니다. 종합된 네 가지 유형의 다중 관점 증거들 간의 상관관계와 의미적 관계를 분석하여, 감독(supervision) 없이도 효과적인 개체 연결 순위 전략을 유도함으로써 정확한 엔티티 연결을 수행합니다.

MSR-MEL은 광범위하게 사용되는 MEL 벤치마크에서 기존 최신 비지도 방법들보다 일관되게 우수한 성능을 보여주었으며, 이는 다중 관점적 증거 종합과 LLM 기반 추론의 시너지를 입증합니다.