강건한 추론 체인 수리를 위한 대규모 언어 모델의 양방향 논리 주입

대규모 언어 모델 (LLMs)에서의 자기회귀적 (Autoregressive) 사고 사슬 (Chain-of-Thought, CoT) 추론은 근본적으로 순방향을 향합니다. 즉, 각 단계는 오직 이전 토큰들에만 조건화됩니다. 이러한 단방향적 귀납 편향 (Unidirectional inductive bias)은 유능한 모델조차 오류가 눈덩이처럼 불어나는 현상 (Error snowballing)에 취약하게 만듭니다. 이 현상은 초기 단계에서의 단 한 번의 논리적 또는 산술적 실수가 전체 추론 체인을 돌이킬 수 없이 망가뜨리는 것을 의미합니다. 우리는 디코더 전용 트랜스포머 (Decoder-only transformers)에 고유한 '목표 조건부 브릿징 (Goal-conditioned bridging)' 능력을 부여하는 훈련 프레임워크인 목적론적 추론 인필링 (Teleological Reasoning Infilling, $\TRI{}$)을 소개합니다. 핵심 통찰은 오류가 있는 추론 구간을 중간 채우기 (Fill-in-the-middle, FIM) 작업으로 재구성하는 것입니다. 검증된 접두사 전제 $P$, 검증된 하류 마일스톤 $S$, 그리고 원래의 쿼리 $Q$가 주어졌을 때, 모델은 $P$와 $S$를 엄격하고 완전하게 연결하는 논리적 가교 $M$을 합성해야 합니다. 표준 인과적 구조 (Causal architectures)에서 이를 달성하기 위해, 우리는 세 개의 중복되지 않는 센티넬 토큰 (Sentinel tokens)을 사용하는 접두사-접미사-중간 (Prefix-Suffix-Middle, PSM) 시퀀스 재배열을 도입하여, 셀프 어텐션 (Self-attention) 메커니즘의 구조적 수정 없이도 $M$이 $P$와 $S$ 모두를 참조할 수 있도록 합니다. 훈련은 두 단계로 진행됩니다: (i) 형식 수학 코퍼스에서 추출된 기호적으로 검증된 $(P, S, M)$ 트리플에 대한 지도 미세 조정 (Supervised Fine-Tuning, SFT), 그리고 (ii) LLM 판사 (LLM-judge)의 아첨 (Sycophancy) 현상을 제거하기 위해 결정론적 기호 검증기 (Lean 4 / Python)를 유일한 보상 오라클 (Reward oracle)로 사용하는 직접 선호 최적화 (Direct Preference Optimisation, DPO). 추론 시, $\TRI{}$는 이중 시스템 루프 내에서 정밀 수리 모듈로 작동합니다. 즉, 인과적 초안 모델 (Causal draft model)이 초기 추론 경로를 생성하면, 검증기가 실패 지점을 정확히 찾아내고, $\TRI{}$는 검증된 섹션은 그대로 유지한 채 손상된 구간만을 인필링(Infill)합니다. 세 가지 벤치마크에 대한 종합적인 실험 결과, $\TRI{}$는 모든 작업에서 최첨단 (State-of-the-art) 성능을 달성하는 동시에 문제당 토큰 소모량을 31.2% 감소시킴을 입증했습니다.