VeriGraph: 검증 가능한 데이터 분석 에이전트를 향하여

LLM (Large Language Model) 기반 에이전트들은 데이터 집약적인 분석 작업에서 강력한 능력을 입증해 왔으나, 그 출력물은 검증 가능한 경우가 드뭅니다. 선형적인 텍스트 궤적(linear text trajectories)에 의존하기 때문에 그 추론 과정을 감사(audit)하기가 어렵기 때문입니다. 특히, 원시 데이터(raw data)에 대한 결정론적 계산(deterministic computations)과 자연어 주장(natural-language claims)에 대한 의미론적 연역(semantic deductions)이 구조화되지 않은 스트림 속에 뒤섞여 있는 경우가 많아, 수치적 결론을 재현하기 어렵고 질적 판단을 검사하기 어렵게 만듭니다. 이를 해결하기 위해, 우리는 에이전트가 실행 과정에서 명시적인 이종 증거 유향 비순환 그래프 (heterogeneous evidence directed acyclic graph, DAG)를 구축할 수 있도록 하는 추적 가능한 신경-기호 추론 (neuro-symbolic reasoning) 프레임워크인 VeriGraph를 제안합니다. VeriGraph는 계산(computational), 근거 설정(grounding), 그리고 유도(derivational) 확장이라는 세 가지 증거 확장 프리미티브(evidence-expansion primitives)를 도입하여, 원시 데이터, 인터프리터 변수(interpreter variables), 계산된 결과, 그리고 자연어 주장을 하나의 통합된 그래프로 연결합니다. 이러한 정식화(formulation) 하에서, 구조적 추적 가능성(structural traceability)은 원시 데이터 소스에서 최종 주장까지의 그래프 도달 가능성(graph reachability) 문제로 축소되며, 의미론적 지원(semantic support)은 주장 수준의 증거 평가(claim-level evidence evaluation)를 통해 측정됩니다. 그래프 구축을 개선하기 위해, 우리는 정답의 정확성(answer correctness), 계산의 무결성(computational integrity), 그리고 유도의 일관성(derivational coherence)을 공동으로 감독하는 복합 보상(composite reward)을 갖춘 그래프 기반 정책 최적화(graph-based policy optimization) 전략을 추가로 설계했습니다. 네 가지 벤치마크에 대한 실험 결과, VeriGraph-8B는 모든 베이스라인 중에서 가장 높은 종합 점수를 달성했습니다. 더 중요한 것은, VeriGraph가 실질적으로 더 강력한 주장 근거(claim grounding)를 가진 감사 가능한 증거 그래프를 생성하며, 우리의 주장 수준 증거 지원 평가 하에서 87.61%의 근거율(Grounding Rate)을 달성했다는 점입니다. 이러한 결과는 명시적인 증거 그래프 구축이 검증 가능한 데이터 분석 에이전트로 나아가는 유망한 경로임을 시사합니다. 우리의 코드는 https://github.com/ignorejjj/VeriGraph 에서 확인할 수 있습니다.