LegalCiteBench: 법률 언어 모델의 인용 신뢰성 평가

요약

본 논문은 대규모 언어 모델(LLMs)이 법률 분야에서 부정확한 인용이나 조작된 판례를 생성하는 심각한 문제를 다루며, 이를 평가하기 위해 LegalCiteBench라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 실제 미국 사법 의견서 기반의 24K개 사례로 구성되어 있으며, 인용 검색, 완성, 오류 탐지 등 다섯 가지 핵심적인 인용 중심 작업을 포함합니다. 평가 결과, 현재 LLM들은 폐쇄형 환경에서 정확한 인용 복구에 어려움을 겪고 있으며, 대부분의 모델이 높은 오도성 답변율을 보이고 있어 법률 AI의 신뢰성 확보가 시급함을 보여줍니다.

핵심 포인트

• LLMs는 법률 분야에서 부정확하거나 조작된 인용(hallucination)을 생성할 위험이 매우 높다.
• LegalCiteBench는 실제 미국 사법 의견서를 기반으로 구축된, 인용 검색 및 검증에 특화된 새로운 평가 벤치마크이다.
• 현재 LLM들은 폐쇄형 환경에서 정확한 인용 복구 능력이 현저히 부족하며, 대부분의 모델이 높은 오도성 답변율을 보인다.
• 단순히 모델 규모를 키우거나 법률 도메인으로 사전 학습하는 것만으로는 인용 신뢰성 문제를 해결할 수 없다.