최근 LLM의 수학적 추론 능력을 향상시키기 위한 방법들, 예를 들어 MCTS 기반 테스트 시간 검색이나 인과 그래프 안내 지식 주입 방식은 어떤 개념이 정확한 답변에 인과적으로 기여하는지 식별할 수 없습니다. 왜냐하면 관찰된 연관성이 문제 난이도와 같은 교란 변수(confounders)에 의해 발생한 허위일 수 있기 때문입니다. 우리는 LLM 자체를 개입 시뮬레이터로 사용하는 프레임워크인 CIKA (Causal Intervention for Knowledge Activation)를 제안합니다. 이 방식에서는 프롬프트가 개념 상태를 '숙련됨(mastered)'으로 설정하고, 정확도 변화 추정치가 인과적 효과를 측정하게 합니다. 우리는 이 양을 개입적 능력 탐지기(Interventional Capability Probe, ICP)로 공식화했으며, 이는 LLM이 단순히 지식을 보유하는 것과는 별개로 주어진 개념을 사용할 수 있는지 진단합니다. 개입이 문제 난이도와 독립적으로 개념 상태를 외생적으로 설정하기 때문에, ICP는 관찰적 방법으로는 분리할 수 없는 교란 변수를 분리해냅니다. 67개의 선별된 문제를 대상으로 한 결과, 최고 순위 개념의 ICP(+0.219)가 음성 대조군(+0.039; 쌍체 $t$-검정, $p < 10^{-6}$, Cohen's $d = 0.86$)보다 유의하게 큰 것으로 나타나, 이 탐지기가 인과적으로 관련 있는 개념을 관련 없는 개념으로부터 구별함을 확인했습니다. 601개의 Omni-MATH 문제를 분석한 결과, 해결된 문제는 미해결 문제보다 ATE가 6.1배 높았습니다(0.338 대 0.055). 이는 ICP가 문제 해결 성공의 예측 지표임을 입증합니다. 가중치가 완전히 고정된 7B 매개변수 LLM을 사용하여, CIKA는 오염되지 않은 Omni-MATH-Rule 벤치마크에서 69.7%와 64.0%를 달성했습니다.

전반적으로 o1-mini의 경우 60.5%에 비해 높았으며, GSM8K에서는 97.2%, AIME 2024–2026에서는 46–50%, MathArena에서는 46.2%를 기록했습니다. Causal Knowledge Activation 구성 요소는 기본 모델만으로는 실패하는 문제에서 정답의 33.8%에 기여하며, 이는 LLM이 이미 필요한 지식을 보유하고 있었으나 활성화하지 못했음을 보여줍니다.