TriBench-Ko: 사법 워크플로우 내 LLM 위험성 평가

요약

본 기사는 대형 언어 모델(LLMs)이 법률 워크플로우에 통합되면서 발생하는 실제적인 위험성을 평가하기 위해 한국어 벤치마크 'TriBench-Ko'를 소개합니다. 이 벤치마크는 사법 심리, 판례 검색, 법적 문제 추출, 증거 분석 등 네 가지 핵심 사법 과제를 다루며, 환상(hallucination), 편향, 불일치 등 다양한 배포 위험 범주에서 LLM의 성능을 종합적으로 평가합니다. 연구 결과에 따르면, 현재 많은 LLMs가 판례 검색과 중요한 법적 정보 포착에 어려움을 겪는 심각한 위험성을 나타내는 것으로 분석되었습니다.

핵심 포인트

• 기존 LLM 벤치마크의 한계를 극복하고 실제 사법 프로세스 내에서의 성능 및 위험을 평가하는 TriBench-Ko를 개발했습니다.
• TriBench-Ko는 사법 심리, 판례 검색, 법적 문제 추출, 증거 분석 등 네 가지 핵심 사법 과제를 포함합니다.
• 이 벤치마크는 환상(hallucination), 편향, 불일치 등 다양한 배포 위험 범주를 포괄적으로 평가하여 모델의 안전성을 진단합니다.
• 평가 결과, 많은 LLMs가 판례 검색 및 중요한 법적 정보 포착에 어려움을 겪는 심각한 위험을 보였습니다.