LLMs를 개념 숙련 시뮬레이터로 활용한 개입 기반 시계열 인과 발견을 통한 수학적 추론

요약

본 논문은 LLM의 수학적 추론 능력을 평가할 때 단순히 연관성만 보는 것이 아니라, 특정 개념을 '숙련됨' 상태로 강제 개입(Intervention)하여 그 인과적 효과를 측정하는 새로운 프레임워크 CIKA를 제안합니다. 이 방법론은 관찰된 데이터에 포함될 수 있는 교란 변수(confounders), 예를 들어 문제 난이도와 같은 요소를 분리해내어, LLM이 실제로 개념을 '사용할 수 있는지' 여부를 진단하는 개입적 능력 탐지기(ICP)를 공식화합니다. 실험 결과, ICP는 최고 순위 개념의 경우 음성 대조군보다 유의하게 높은 성능을 보였으며, 문제 해결 성공 예측 지표로서도 강력함을 입증했습니다.

핵심 포인트

• LLM의 수학적 추론 능력 평가는 단순한 연관성 측정만으로는 부족하며, 인과적 개입(Causal Intervention)이 필요하다.
• 제안된 CIKA 프레임워크는 LLM을 '개입 시뮬레이터'로 활용하여 특정 개념 상태를 외생적으로 설정할 수 있다.
• 핵심 지표인 개입적 능력 탐지기(ICP)는 문제 난이도와 독립적으로 개념의 인과적 기여도를 측정한다.
• 실험 결과, ICP가 높은 성능을 보이며, 이는 LLM이 단순히 지식을 보유하는 것을 넘어 실제로 해당 개념을 활용할 수 있음을 의미한다.
• CIKA 구성 요소는 기본 모델만으로는 해결하기 어려운 문제에서 정답률 향상에 실질적으로 기여함을 입증했다.