온라인 금융 QA를 위한 데이터 중심 컴파일을 통한 수치적 환각(Numerical Hallucinations) 방지

대규모 언어 모델 (LLMs)은 온라인 데이터 서비스, 특히 금융 질의응답 (FinQA) 분야를 크게 발전시켰습니다. 그러나 이러한 시스템은 여전히 수치적 추론 환각 (numerical reasoning hallucinations)에 취약하며, 이는 이해관계가 큰 금융 애플리케이션에서의 신뢰성을 심각하게 저해합니다. 검색 증강 생성 (RAG)이 외부 지식에 기반하여 응답을 생성하기 위해 널리 채택되어 왔지만, 이는 노이즈 민감도 (noise sensitivity), 계산 취약성 (calculation fragility), 그리고 감사 가능성 위기 (auditability crisis)라는 세 가지 지속적인 과제를 야기합니다. 검색기 (retriever) 또는 생성기 (generator) 중 하나를 개별적으로 최적화하는 데 주로 집중하는 기존의 모델 중심 (model-centric) 접근 방식은 이러한 문제들을 통합적인 방식으로 해결하는 데 여전히 어려움을 겪고 있습니다. 본 연구에서는 데이터 중심 (data-centric) 패러다임을 개척하고, 새로운 프레임워크인 데이터 중심 추론 컴파일러 (Data-centric Reasoning Compiler, DCRC)를 제안합니다. 이 프레임워크는 세 가지 응집력 있는 단계로 작동합니다: (1) 강건성 (robustness)을 학습시키기 위해 제어된 노이즈를 포함한 학습 예시를 합성하는 적대적 데이터 구축 (adversarial data construction), (2) 명시적인 증거 감사 (evidence auditing) 및 프로그램 합성 (program synthesis)이 가능한 데이터 중심 구조화 에이전트 (Data-centric Structuring Agent, DSA)를 육성하는 다단계 학습 (multi-stage training), (3) DSA가 사용자 질의와 검색된 문서를 검증 가능하고 실행 가능한 추론 프로그램으로 변환하는 컴파일 및 실행 (compile-and-execute) 추론 프로세스입니다. 이 데이터 주도 (data-driven) 프레임워크는 설계 단계부터 충실한 수치적 추론을 보장합니다. 우리는 기존의 오프라인 벤치마크에서 광범위한 실험을 수행하였으며, 실제 온라인 금융 QA 시스템에 배포함으로써 우리 프레임워크를 추가로 검증하였습니다.