Chain-of-Thought의 계산 과정을 언어화하여 신뢰성 감지

요약

본 논문은 Chain-of-Thought (CoT)의 계산 과정을 언어화하여 추론의 신뢰성을 감지하는 새로운 방법 VERITAS를 제안합니다. VERITAS는 레이어별 Jacobian 투영을 사용하여 CoT 토큰마다 모델 내부의 추론 진화 과정을 설명하며, 이를 통해 부정확성이 발생하는 메커니즘적 이해를 제공합니다.

핵심 포인트

• VERITAS는 CoT 계산 과정을 언어화하여 신뢰성을 감지한다.
• 레이어별 Jacobian 투영을 사용하여 상세한 추론 설명을 생성한다.
• FaithCoT-Bench 등에서 LLM-as-Judge 대비 높은 성능 향상을 보였다.
• 단순 감지를 넘어 실패 메커니즘적 이해를 제공하는 것이 강점이다.