LLM 내부 들여다보기: 법률 분류의 신뢰성 향상을 위한 LLM 내부 아티팩트(Internal Artifacts) 활용

대규모 언어 모델 (LLMs)은 법률 분야에서 점점 더 많이 채택되고 있습니다. 그러나 강력한 성능에도 불구하고, LLMs는 부정확하거나 환각 (hallucination)된 출력을 생성하기 쉬우며, 이는 법률과 같이 이해관계가 큰 (high-stakes) 분야에서 신뢰성에 대한 심각한 우려를 불러일으킵니다. 따라서 LLM 기반 시스템의 응답 정확성을 탐지하는 것은 매우 중요한 과제입니다. 본 연구에서는 법률 도메인 분류 작업에서 LLM의 예측 정확성을 탐지하기 위해 LLM의 내부 아티팩트 (internal artifacts)를 활용하는 잠재력을 탐구합니다. 우리는 이러한 내부 아티팩트에서 파생된 특징 (features)을 활용하여, 부정확한 LLM 출력을 식별할 수 있는 다운스트림 분류기 (downstream classifiers)를 구축하는 접근 방식을 개발합니다. 우리는 두 가지 대표적인 법률 분류 작업인 보석 결정 예측 (bail decision prediction) 및 법규 위반 예측 (statute violation prediction)에 대해 우리의 접근 방식을 평가합니다. 실험 결과는 LLMs의 내부 아티팩트가 법률 분류 작업에서 부정확한 예측을 탐지하는 신뢰할 수 있는 지표임을 입증하며, LLM 기반 분류 시스템의 신뢰성을 향상시키는 데 적용될 수 있음을 보여줍니다.