CauTion: 앙상블 인과 발견 (Ensemble Causal Discovery)을 위한 LLM 신뢰 시점 판단 방법

관측 데이터(observational data)로부터의 인과 발견(causal discovery)은 등가 클래스(equivalence classes) 내에서의 통계적 구별 가능성 및 유한한 샘플 크기에 대한 민감도와 같은 순수 통계적 방법의 근본적인 한계로 인해 여전히 어려운 과제로 남아 있습니다. 대규모 언어 모델(LLMs)은 통계적 추론(statistical inference)을 보완할 수 있는 유망한 도메인 지식(domain knowledge)의 원천을 제공하지만, 기존의 LLM 증강(LLM-augmented) 방법들은 LLM의 오류에 취약하며 높은 토큰 비용을 발생시킵니다. 또한, 단일 데이터 중심(data-centric) 알고리즘에 의존하면 알고리즘 특유의 편향(biases)에 결과가 민감해질 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 합의 필터링(consensus filtering)과 LLM 신뢰도 추정(LLM reliability estimation)을 통해 LLM의 도메인 지식을 통계적 인과 발견 알고리즘의 앙상블(ensemble)에 안정적으로 통합하는 프레임워크인 CauTion을 제안합니다. CauTion은 세 단계로 진행됩니다. 첫째, 알고리즘 앙상블은 합의 투표(consensus voting)를 활용하여 알고리즘들이 일치하는 엣지(edges)의 최대 96%를 해결하며, 필터링된 합의 엣지에서 거의 완벽한 정확도를 달성합니다. 둘째, 신뢰 보정 중재(trust-calibrated arbitration) 메커니즘은 주석이 필요 없는(annotation-free) 신뢰 보정 절차를 통해 LLM과 알고리즘의 상대적 신뢰도를 추정하며, 이는 알고리즘 증거가 신뢰할 수 없는 엣지에 대해서만 LLM 중재를 제한하는 신뢰 가중 투표(trust-weighted voting) 프로세스를 제어하는 데 사용됩니다. 셋째, 최종 인과 그래프(causal graph)가 유효한 비순환(acyclic) 구조임을 보장하기 위해 사이클 복구(cycle repair) 단계가 적용됩니다. 6개의 데이터셋에 대한 실험 결과, CauTion은 데이터 중심 및 LLM 증강 베이스라인(baselines) 모두를 일관되게 능가하며, 그래프가 커질수록 더 큰 이득을 보이고 LLM 오류에 대해 강력한 견고성(robustness)을 보여줍니다. 코드는 https://github.com/OpenCausaLab/CauTion 에서 확인할 수 있습니다.