LP-Eval: 법률 명제 생성 품질 측정을 위한 루브릭 및 데이터셋

요약

본 논문은 LLM을 활용하여 유럽연합 사법재판소 판결문으로부터 법률 명제를 자동 생성하고 평가하는 방법론을 제안합니다. 법률 전문가와 공동 설계한 3단계 평가 루브릭인 LP-Eval과 100개의 전문가 주석이 포함된 데이터셋을 공개하며, LLM의 법률 명제 생성 능력과 평가자로서의 성능을 분석합니다.

핵심 포인트

• 법률 명제의 품질을 형식적 타당성과 실질적 차원으로 구분하는 3단계 평가 루브릭 'LP-Eval' 개발
• LLM은 대체로 고품질의 법률 명제를 생성할 수 있으나, 확립된 판례에서 더 높은 품질을 보임
• LLM을 평가자로 활용할 경우 루브릭 기반 판단은 전문가와 유사하나, 미세한 차이를 포착하는 데는 한계가 있음
• 유럽연합 사법재판소 판결문을 기반으로 한 법률 명제 생성 및 평가 데이터셋 공개