누가 인용문을 확인하는가? 법률적 환각 탐지 벤치마킹 (Benchmarking Legal Hallucination Detection)

변호사, 판사, 그리고 본인 소송 수행자(pro se filers)들은 법률 문서를 작성하기 위해 AI를 점점 더 많이 사용하고 있지만, 이러한 도구들은 빈번하게 인용문(citations)을 날조합니다. 최신 모델들은 환각(hallucination)을 덜 일으킬 것이라거나 법원의 제재가 부주의한 제출자를 저지할 것이라는 예측에도 불구하고, 우리는 날조된 인용문을 포함하는 1,000건 이상의 제출물을 발견했으며 이 수치는 매년 증가하고 있습니다. 본 연구는 AI 기반 시스템이 환각을 자동으로 탐지함으로써 이러한 오류를 완화할 수 있는지 평가합니다. 우리는 실제 법원 제출물에 근거한 법률 인용 환각의 분류 체계(taxonomy)를 제안하고, 오류가 주입된 1,300개의 서면 발췌문 데이터셋을 소개합니다. 에이전트 방식(agentic) 및 비에이전트 방식(non-agentic) 설정에서 5개의 모델을 벤치마킹한 결과, 최신 모델들이 더 나은 성능을 보이지만 — GPT-5는 에이전트 프레임워크에서 82.8%의 재현율(recall)과 60.5%의 F1 점수(F1 score)를 달성함 — 모든 모델이 미묘한 오류 범주에서는 어려움을 겪는 것으로 나타났습니다. 에이전트 기반 검증은 여전히 자원 집약적이며, GPT-5는 발췌문당 평균 16.9단계를 소요합니다. 또한, 제한된 정보 접근성은 가장 뛰어난 에이전트의 효능마저 제한합니다. 이러한 격차는 AI 시스템과 상업용 법률 데이터베이스 구독 권한이 없는 소송 당사자 모두에게 불이익을 주기 때문에 정책적 우려를 낳습니다. 종합적으로, 우리의 데이터셋, 도구 및 정책 권고안은 신뢰할 수 있는 법률 인용 확인 도구를 구축하고 감사하기 위한 토대를 제공합니다.