Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 단방향 CoT 추론에서 발생하는 오류 누적 문제를 해결하기 위해 양방향 논리 주입 프레임워크인 TRI를 제안합니다. 중간 채우기(FIM) 방식을 활용하여 오류 구간을 논리적으로 재구성함으로써 추론의 강건성을 높입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)에서의 자기회귀적 (Autoregressive) 사고 사슬 (Chain-of-Thought, CoT) 추론은 근본적으로 순방향을 향합니다. 즉, 각 단계는 오직 이전 토큰들에만 조건화됩니다. 이러한 단방향적 귀납 편향 (Unidirectional inductive bias)은 유능한 모델조차 오류가 눈덩이처럼 불어나는 현상 (Error snowballing)에 취약하게 만듭니다. 이 현상은 초기 단계에서의 단 한 번의 논리적 또는 산술적 실수가 전체 추론 체인을 돌이킬 수 없이 망가뜨리는 것을 의미합니다. 우리는 디코더 전용 트랜스포머 (Decoder-only transformers)에 고유한 '목표 조건부 브릿징 (Goal-conditioned bridging)' 능력을 부여하는 훈련 프레임워크인 목적론적 추론 인필링 (Teleological Reasoning Infilling, $\TRI{}$)을 소개합니다. 핵심 통찰은 오류가 있는 추론 구간을 중간 채우기 (Fill-in-the-middle, FIM) 작업으로 재구성하는 것입니다. 검증된 접두사 전제 $P$, 검증된 하류 마일스톤 $S$, 그리고 원래의 쿼리 $Q$가 주어졌을 때, 모델은 $P$와 $S$를 엄격하고 완전하게 연결하는 논리적 가교 $M$을 합성해야 합니다. 표준 인과적 구조 (Causal architectures)에서 이를 달성하기 위해, 우리는 세 개의 중복되지 않는 센티넬 토큰 (Sentinel tokens)을 사용하는 접두사-접미사-중간 (Prefix-Suffix-Middle, PSM) 시퀀스 재배열을 도입하여, 셀프 어텐션 (Self-attention) 메커니즘의 구조적 수정 없이도 $M$이 $P$와 $S$ 모두를 참조할 수 있도록 합니다. 훈련은 두 단계로 진행됩니다: (i) 형식 수학 코퍼스에서 추출된 기호적으로 검증된 $(P, S, M)$ 트리플에 대한 지도 미세 조정 (Supervised Fine-Tuning, SFT), 그리고 (ii) LLM 판사 (LLM-judge)의 아첨 (Sycophancy) 현상을 제거하기 위해 결정론적 기호 검증기 (Lean 4 / Python)를 유일한 보상 오라클 (Reward oracle)로 사용하는 직접 선호 최적화 (Direct Preference Optimisation, DPO). 추론 시, $\TRI{}$는 이중 시스템 루프 내에서 정밀 수리 모듈로 작동합니다. 즉, 인과적 초안 모델 (Causal draft model)이 초기 추론 경로를 생성하면, 검증기가 실패 지점을 정확히 찾아내고, $\TRI{}$는 검증된 섹션은 그대로 유지한 채 손상된 구간만을 인필링(Infill)합니다. 세 가지 벤치마크에 대한 종합적인 실험 결과, $\TRI{}$는 모든 작업에서 최첨단 (State-of-the-art) 성능을 달성하는 동시에 문제당 토큰 소모량을 31.2% 감소시킴을 입증했습니다.