무엇이 수학적 추론을 진정으로 향상시키는가: 순수 코드를 넘어선 구조적 추론 신호

코드는 현대의 파운데이션 언어 모델 (Foundation Language Model, LM) 학습의 표준 구성 요소가 되었지만, 프로그래밍 이외의 역할은 여전히 불분명합니다. 본 연구에서는 미세한 도메인 분리가 이루어진 10T-토큰 코퍼스 (Corpus)를 대상으로 통제된 사전 학습 (Pretraining) 실험을 수행하여, 코드가 추론 능력을 향상시킨다는 주장을 재검토합니다. 우리의 연구 결과는 세 가지로 요약됩니다. 첫째, 코드가 독립적인 실행 가능한 프로그램으로 제한되고 코드-자연어 (Code-NL) 데이터가 통제될 경우, 코드는 프로그래밍 능력은 실질적으로 향상시키지만 일반적인 추론 강화제로서 작용하지는 않습니다. 대신, 코드는 지식 집약적 작업, 특히 복잡한 수학적 추론 (Mathematical Reasoning)과 경쟁 관계에 있습니다. 둘째, 흔히 코드 덕분이라고 여겨지는 추론 이득은 실행 가능한 코드 단독보다는 코드-텍스트 (Code-text) 및 수학-텍스트 (Math-text) 혼합과 같은 교차 도메인 구조적 추론 흔적 (Structured Reasoning Traces)으로 더 잘 설명됩니다. 셋째, 고정된 수학 예산 내에서 구조화된 수학 도메인 샘플의 밀도를 높이면 프로그래밍 성능을 크게 유지하면서도 어려운 수학적 추론에서 상당한 이득을 얻을 수 있으며, 이는 인지적 스캐폴딩 (Cognitive Scaffolds)이 도메인 간의 트레이드오프 (Trade-offs)를 완화하는 표적화된 방법을 제공함을 시사합니다. 마지막으로, 라우팅 (Routing) 분석 결과 데이터 구성 효과가 전문가 활성화 (Expert-activation) 패턴에 반영됨을 보여주며, 이는 도메인 간의 경쟁적 및 시너지적 상호작용에 대한 메커니즘 수준의 증거를 제공합니다. 우리의 결과는 어떤 데이터 특성이 능력 차원 간에 전이되는지를 명확히 하며, 보다 정밀한 데이터 중심 최적화 전략을 제시합니다.