정규화 흐름(Normalizing Flows)을 이용한 잠재적 추론(Latent Reasoning)

대규모 언어 모델(Large language models)은 명시적인 사고 사슬(Chain-of-Thought, CoT)을 생성함으로써 추론 능력을 향상시키는 경우가 많으며, 이는 중간 계산(intermediate computation)의 중요성을 입증합니다. 그러나 텍스트 기반의 CoT는 이러한 계산을 이산적(discrete)이고 직렬적(serial)이며 통신 중심적인 토큰 스트림(token stream)을 통해 강제합니다. 즉, 근본적인 업데이트가 의미론적(semantic)이거나 불확실하거나 혹은 부분적으로만 형성된 상태일지라도, 모델이 다음 단계로 넘어가기 전에 각 추론 단계를 반드시 언어화해야 합니다. 잠재적 추론(Latent reasoning)은 텍스트로 확정하기 전에 압축된 연속적 상태(continuous states)에서 중간 계산을 수행함으로써 더 높은 대역폭(higher-bandwidth)의 대안을 제공합니다. 하지만 기존의 잠재적 추론 방법들은 자기회귀(autoregressive) 언어 모델에서 CoT를 효과적으로 만드는 핵심적인 장점들, 즉 고유한 좌측에서 우측 방향 생성(left-to-right generation), 확률적 샘플링(probabilistic sampling), KV-캐시(KV-cache) 디코딩과의 호환성, 그리고 다루기 쉬운 가능도 추정(tractable likelihood estimation) 등을 희생하는 경우가 많습니다. 우리는 정규화 흐름(Normalizing flows)으로 연속적 사고(continuous thoughts)를 모델링함으로써 이러한 장점들을 보존하는 잠재적 추론 프레임워크인 NF-CoT를 제안합니다. NF-CoT는 LLM 백본(backbone) 내부에 TARFlow 스타일의 정규화 흐름을 구현하여, 명시적 CoT로부터 증류된(distilled) 압축된 연속적 사고에 대한 다루기 쉬운 확률 모델을 정의합니다. 연속적 사고 위치는 NF 헤드(NF head)에 의해 생성되는 반면, 텍스트 위치는 동일한 인과적 스트림(causal stream) 내에서 표준 언어 모델 헤드(LM head)에 의해 생성됩니다. 이러한 설계는 잠재적 사고에 대한 정확한 가능도(exact likelihoods)를 제공하고, 기존 KV 캐시를 사용한 확률적 좌측에서 우측 방향 디코딩을 가능하게 하며, 잠재적 추론 공간에서의 직접적인 정책 경사(policy-gradient) 최적화를 지원합니다. 코드 생성 벤치마크에서 NF-CoT는 명시적 CoT 및 이전의 잠재적 추론 베이스라인(baselines)보다 통과율(pass rates)을 향상시키는 동시에 중간 추론 비용을 실질적으로 감소시킵니다.