추론기인가 번역기인가? 세법 분야의 오염 인지 평가 및 신경-기호적(Neuro-Symbolic) 강건성 연구

요약

본 연구는 LLM의 세법 추론 능력이 실제 추론인지 아니면 데이터 오염에 의한 결과인지 분석합니다. 연구 결과, 단일 LLM보다 법률 조문을 형식적 표현으로 변환하여 기호적 솔버와 결합한 신경-기호적(Neuro-Symbolic) 하이브리드 시스템이 미학습 문서에 대한 일반화와 신뢰성 측면에서 더 우수함을 입증했습니다.

핵심 포인트

• LLM의 법률 추론 성능이 데이터 오염(Data Contamination)으로 인해 과대평가될 수 있음을 확인
• 법률 추론의 구성적(Compositional) 특성을 고려한 신경-기호적(Neuro-Symbolic) 프레임워크의 필요성 제시
• 기호적 솔버를 활용한 하이브리드 시스템이 미학습 상황에 대한 일반화 성능이 더 높음
• 새로운 테스트 스위트를 통해 사례 및 규칙 변형에 대한 모델의 강건성 평가