SERE: 사건 인과성 식별을 위한 LLM 성능 향상을 위한 구조적 예제 검색

사건 인과성 식별 (Event Causality Identification, ECI) 은 모델이 주어진 문맥 내 두 사건 쌍이 인과 관계를 보이는지 여부를 결정하도록 요구합니다. 자연어 처리 (NLP) 작업 전반에 걸쳐 강력한 성능을 입증한 대형 언어 모델 (Large Language Models, LLMs) 이나, ECI 에서의 효과성은 인과 추론 편향 (causal reasoning biases) 으로 인해 제한적이며, 종종 인과 관계 과 예측 (causal hallucination) 을 초래합니다. 이러한 문제들을 완화하고 ECI 에서 LLM 성능을 향상시키기 위해, 우리는 LLM 의 퓨-샷 학습 (few-shot learning) 능력을 활용하는 구조적 예제 검색 (Structural Example Retrieval, SERE) 프레임워크를 제안합니다. SERE 는 세 가지 구조적 개념에 기반한 혁신적인 검색 메커니즘을 도입합니다: (i) 개념적 경로 지표 (Conceptual Path Metric), 이는 ConceptNet 에서 편집 거리를 사용하여 사건 간의 개념적 관계를 측정하며; (ii) 문법적 지표 (Syntactic Metric), 이는 문법 나무 (syntactic trees) 의 편집 거리를 통해 구조적 유사성을 정량화하며; 그리고 (iii) 인과 패턴 필터링 (Causal Pattern Filtering), 이는 사전 정의된 인과 구조를 사용하여 예제를 필터링합니다. 이러한 구조적 검색 전략을 통합함으로써, SERE 는 LLM 의 인과 추론을 안내하고 편향을 완화하여 ECI 작업의 정확성을 개선하기 위해 더 관련성 있는 예제를 선택합니다. 여러 ECI 데이터셋에 대한 광범위한 실험은 SERE 의 효과를 입증했습니다. 소스 코드는 https://github.com/DMIRLAB-Group/SERE 에서 공개적으로 이용 가능합니다.