논증 재구성(Argument Reconstruction)을 위한 LLM 기반 시스템

논증(Arguments)은 주장이 뒷받침되고, 도전받으며, 서로 비교되는 인간 추론의 근본적인 측면입니다. 본 연구에서는 자연어 텍스트로부터 추상적 논증 그래프(abstract argument graphs)로 논증을 재구성하기 위한 엔드 투 엔드(end-to-end) 대규모 언어 모델(LLM) 기반 시스템을 제시합니다. 이 시스템은 논증 구성 요소를 점진적으로 식별하고, 관련 요소를 선택하며, 그들의 논리적 관계를 밝혀내는 다단계 파이프라인(multi-stage pipeline)을 따릅니다. 이러한 요소들은 두 가지 구성 요소 유형(전제(premises) 및 결론(conclusions))과 세 가지 관계 유형(지지(support), 공격(attack), 및 언더컷(undercut))으로 구성된 유향 비순환 그래프(directed acyclic graphs, DAG)로 표현됩니다. 우리는 시스템을 평가하기 위해 두 가지 상호 보완적인 실험을 수행합니다. 첫째, 논증 이론 교과서에서 추출한 논증을 대상으로 수동 평가를 수행하여 논증 구조를 복구하는 시스템의 능력을 평가합니다. 둘째, 벤치마크 데이터셋에 대해 정량적 평가를 수행하며, 우리의 출력을 기존의 주석 체계(annotation schemes)에 매핑함으로써 이전 연구들과 비교합니다. 결과에 따르면, 이 시스템은 논증 구조를 적절히 복구할 수 있으며, 서로 다른 주석 체계에 적응했을 때 벤치마크 데이터셋 전반에서 합리적인 성능을 달성함을 보여줍니다. 이러한 발견은 확장 가능한 논증 재구성을 위한 LLM 기반 파이프라인의 잠재력을 강조합니다.