인과적 사고의 흐름(Causal Chain of Thought): 컨텍스트 격리를 통한 어텐션 누출 완화

요약

기존의 Chain-of-Thought(CoT)는 단계별 추론 과정이 인과적 기여를 보장하지 못하는 한계가 있습니다. 본 논문은 문제를 DAG로 분해하고 각 노드를 직접적인 부모 컨텍스트에서 격리 평가하는 CausalCoT 프레임워크를 제안합니다. 이를 통해 어텐션 누출을 완화하여 인과적 투명성을 강제하며, 추론의 신뢰도와 민감도를 크게 향상시킵니다.

핵심 포인트

• CausalCoT는 문제를 DAG로 분해하여 구조화된 인과적 추론을 가능하게 합니다.
• 컨텍스트 격리(Context Isolation)를 통해 어텐션 누출을 완화하고 인과적 투명성을 확보합니다.
• 설명의 충실도와 중간 단계의 인과적 민감도가 기존 대비 크게 향상됩니다 (최대 21%).
• 구조화된 의존성 그래프 기반의 테스트 시간 개입(Test-time Interventions)이 가능해집니다.