기하학적 잠재 추론(Geometric Latent Reasoning)이 LLM의 생성 길이를 단축시킨다

대규모 언어 모델(Large language models, LLMs)은 명시적인 추론 토큰(reasoning tokens)의 긴 사슬을 생성함으로써 복잡한 문제를 해결합니다. 이는 효과적이긴 하지만, 추론 비용을 높이고 길이에 민감하게 만들며, (이산적인) 자연어에 국한된다는 단점이 있습니다. 잠재 추론(latent reasoning)이 연속적인 대안을 제공하기는 하지만, 중간 잠재 상태(intermediate latent states)를 위한 유용한 구조를 결정하는 것은 여전히 해결되지 않은 과제입니다. 본 논문에서는 잠재 추론을 모델의 사전 학습된 토큰 임베딩 공간(token-embedding space) 내에서의 기하학적 경로 근사(geometric path-approximation) 문제로 공식화합니다. 우리는 임베딩 공간에서의 반복적인 방향 업데이트를 예측하기 위해 경량화된 전이 헤드(transition head)를 사용하는 기하학적 잠재 추론(Geometric Latent Reasoning, GLR)을 소개합니다. 텍스트 기반의 사고 사슬(chain-of-thought) 흔적을 앵커(anchors)로 사용하여, GLR은 정확한 토큰 임베딩으로부터의 연속적인 편차를 허용하면서도 이산적인 추론 궤적(reasoning trajectories)을 근사하도록 학습합니다. Qwen3 모델을 사용한 수학적 추론 벤치마크 평가 결과, 명시적인 길이 목표(length objective) 없이도 기하학적 잠재 추론이 생성 길이를 실질적으로 단축시키는 창발적 현상(emergent phenomenon)이 나타났습니다. 초기 명시적 추론을 연속적인 잠재 단계(latent steps)로 대체함으로써, 모델은 종종 훨씬 적은 총 생성 단계(generation steps)를 사용하여 정답에 도달합니다. 이러한 발견은 연속적인 궤적이 압축된 중간 추론 상태(intermediate reasoning states)로 작용함을 시사하며, 잠재 계산 예산(latent computation budget), 출력 길이, 그리고 정확도 사이의 새로운 트레이드오프(tradeoff)를 드러냅니다.