인용 근거 설정(Citation Grounding): 법률 인용 그래프를 통한 LLM 인용 환각(Citation Hallucinations)

대규모 언어 모델(Large Language Models, LLMs)은 법률 인용을 체계적으로 환각(hallucinate)합니다. 즉, 법령 참조를 조작하거나, 폐지된 조항을 인용하고, 관할권을 혼동하는 등의 문제를 일으키지만, 이러한 동작을 대규모로 측정하거나 줄일 수 있는 자동화된 방법은 아직 존재하지 않습니다. 본 논문에서는 1억 80만 개의 우크라이나 법원 판결문(5억 200만 개의 엣지, 21,736개의 고유 법령 노드)에서 추출한 정답 인용 그래프(ground-truth citation graph)를 바탕으로 LLM이 생성한 법률 인용을 검증하는 지표인 인용 근거 설정(Citation Grounding, CG)을 제안합니다. CG는 인용 정확도(citation precision: 인용된 조항이 존재하는가?), 인용 관련성(citation relevance: 문맥상 적절한가?), 인용 시의성(citation temporality: 해당 날짜에 유효했는가?)의 세 가지 구성 요소로 분해되어 환각 유형에 대한 차등 진단을 가능하게 합니다. AWS Bedrock을 통한 4개의 상용 LLM(Claude Haiku 4.5, Mistral Pixtral Large, Amazon Nova Pro/Lite)과 1개의 RAG(Retrieval-Augmented Generation) 강화 프로덕션 시스템 등 5개 시스템을 대상으로 100개의 우크라이나 법률 질의에 대해 실증적 평가를 수행한 결과, CG는 0.791에서 0.873 사이로 나타났으며, 인용의 13~21%가 환각인 것으로 밝혀졌습니다. 인간의 주석(annotation) 없이 환각을 줄이기 위해, 우리는 인용 근거 설정 DPO(Citation Grounding DPO, CG-DPO)를 도입합니다. 이는 실제 법원 판결문의 검증된 인용을 네 가지 표적 전략을 통해 오염(corrupting)시킴으로써 알고리즘적으로 선호 쌍(preference pairs)을 구축하는 방법입니다. 2,244개의 법원 판결문 데이터셋에서 LoRA를 통해 미세 조정(fine-tuned)된 Qwen2.5-7B-Instruct 모델은 올바른 인용과 오염된 인용을 구별하는 데 있어 98.5%의 평균 검증 정확도를 달성했습니다(보상 마진 +14.9, 3개 시드 기준 표준편차 < 0.3 pp). 인용 그래프, 평가 프레임워크 및 CG-DPO 데이터셋은 오픈 리소스로 공개됩니다.