LLM 기반 다중 관점 증거 종합 및 추론을 통한 비지도 개체 연결

요약

본 논문은 모호한 언급(mention)과 지식 베이스 내의 엔티티를 연결하는 핵심 작업인 멀티모달 개체 연결(MEL)을 위한 새로운 프레임워크 MSR-MEL을 제안합니다. 기존 방법들이 인스턴스 중심 특징에만 집중했던 한계를 극복하기 위해, 인간 전문가의 다중 관점 판단 과정을 모방했습니다. MSR-MEL은 두 단계로 구성됩니다. 첫째, 오프라인에서 인스턴스, 그룹, 어휘적, 통계적 네 가지 유형의 증거를 종합합니다. 특히 그래프 기반으로 이웃 정보를 집계하는 '그룹 레벨 증거'를 핵심적으로 다룹니다. 둘째, LLM을 추론 모듈로활

핵심 포인트

• 제안된 MSR-MEL은 멀티모달 개체 연결(MEL)을 위해 대규모 언어 모델(LLMs) 기반의 '다중 관점 증거 종합 및 추론' 프레임워크를 제시합니다.
• 오프라인 단계에서는 인스턴스 중심 외에도 그룹 레벨, 어휘적, 통계적 네 가지 유형의 포괄적인 증거를 합성하며, 특히 그래프 신경망(GNN)을 활용해 이웃 정보를 집계하는 것이 핵심입니다.
• 온라인 단계에서는 LLM의 추론 능력을 활용하여 종합된 다중 관점 증거 간의 상관관계와 의미를 분석하고, 감독 없이도 정확한 개체 연결 순위 전략을 유도합니다.
• 광범위하게 사용되는 MEL 벤치마크 실험에서 MSR-MEL이 기존 최신 비지도 방법들보다 일관되게 우수한 성능을 입증했습니다.