법률 명제 생성 (Legal proposition generation)은 법적 추론 (legal reasoning) 및 법학 연구의 핵심이지만, 법률 자연어 처리 (Legal NLP) 분야에서는 여전히 충분히 연구되지 않은 상태입니다. 본 논문은 대규모 언어 모델 (LLMs)을 사용하여 유럽연합 사법재판소 (Court of Justice of the European Union)의 판결문으로부터 법률 명제를 자동 생성하고 평가하는 방법을 조사합니다. 우리는 법률 전문가들과 공동 설계하여 법률 명제의 품질을 형식적 타당성 (formal validity)과 실질적 차원 (substantive dimensions)으로 분해하는 3단계 평가 루브릭 (rubric)인 LP-Eval을 소개합니다. 이 루브릭을 사용하여, 우리는 100개의 LLM 생성 법률 명제에 대한 두 전문가의 주석 (annotations)이 포함된 데이터셋을 공개합니다. 연구 결과, LLMs는 주로 잘 형성된 고품질의 명제를 생성할 수 있음을 보여주었으며, 전문가 평가 결과 확립된 판례에서 도출된 명제가 최근 판례에서 도출된 명제보다 품질이 더 높다는 것을 확인했습니다. 나아가 우리는 평가자로서의 LLMs를 조사하였으며, 루브릭에 기반한 LLM의 판단이 직접적인 종합 점수 산정보다 전문가의 평가와 더 밀접하게 일치하지만, 인간 전문가가 포착하는 미세한 차이에는 여전히 민감하지 않다는 것을 발견했습니다.