TriBench-Ko: 사법 워크플로우 내 LLM 위험성 평가

대형 언어 모델 (LLMs) 은 점차 법적 워크플로우에 통합되고 있습니다. 그러나 기존 벤치마크는 주로 변호사 면허 시험 수행 또는 분류와 같은 대리 과제 (proxy tasks) 를 다루며, 일상적인 사법 프로세스 내의 성능과 위험을 포착하지 못합니다. 이를 해결하기 위해 우리는 검증된 사법 과제 요구사항 맥락 내에서 LLM 의 잠재적 배포 위험성을 평가하기 위해 TriBench-Ko 라는 한국어 벤치마크를 공개했습니다. 이는 사법 심리 (jurisprudence summarization), 판례 검색 (precedent retrieval), 법적 문제 추출 (legal issue extraction), 증거 분석 (evidence analysis) 과 같은 4 가지 핵심 과제를 포함합니다. 이 벤치마크는 부정확성 (환상, 생략, 법규 오용), 편향 (인종적, 과도한 준수), 불일치 (프롬프트 민감성, 비결정성), 심판권 남용을 포함한 여러 배포 위험 범주에 걸쳐 모델 행동을 종합적으로 평가합니다. 각 항목은 실제 사법 판결을 기반으로 특정 위험 유형과 과제 성능을 체계적으로 평가하도록 구성되었습니다. 우리는 다양한 현대 LLM 의 평가를 통해 많은 모델이 자주 심각한 위험을 나타낸다는 것을 발견했습니다. 특히 판례 검색에 어려움을 겪고 중요한 법적 정보를 포착하지 못하는 문제가 두드러집니다. 우리는 이러한 LLM 의 종합적인 진단을 제공하며, 사법 맥락에서 생성된 LLM 출력물이 엄격한 검사와 주의가 필요한 핵심 영역을 지목합니다. 우리의 데이터셋 및 코드는 https://github.com/holi-lab/TriBench-Ko 에서 이용 가능합니다.