Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 긴 추론 토큰 생성 문제를 해결하기 위해 임베딩 공간 내 기하학적 경로를 활용하는 GLR 방식을 제안합니다. Qwen3 모델 실험 결과, 명시적 길이 제한 없이도 생성 길이를 단축하는 창발적 현상을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(Large language models, LLMs)은 명시적인 추론 토큰(reasoning tokens)의 긴 사슬을 생성함으로써 복잡한 문제를 해결합니다. 이는 효과적이긴 하지만, 추론 비용을 높이고 길이에 민감하게 만들며, (이산적인) 자연어에 국한된다는 단점이 있습니다. 잠재 추론(latent reasoning)이 연속적인 대안을 제공하기는 하지만, 중간 잠재 상태(intermediate latent states)를 위한 유용한 구조를 결정하는 것은 여전히 해결되지 않은 과제입니다. 본 논문에서는 잠재 추론을 모델의 사전 학습된 토큰 임베딩 공간(token-embedding space) 내에서의 기하학적 경로 근사(geometric path-approximation) 문제로 공식화합니다. 우리는 임베딩 공간에서의 반복적인 방향 업데이트를 예측하기 위해 경량화된 전이 헤드(transition head)를 사용하는 기하학적 잠재 추론(Geometric Latent Reasoning, GLR)을 소개합니다. 텍스트 기반의 사고 사슬(chain-of-thought) 흔적을 앵커(anchors)로 사용하여, GLR은 정확한 토큰 임베딩으로부터의 연속적인 편차를 허용하면서도 이산적인 추론 궤적(reasoning trajectories)을 근사하도록 학습합니다. Qwen3 모델을 사용한 수학적 추론 벤치마크 평가 결과, 명시적인 길이 목표(length objective) 없이도 기하학적 잠재 추론이 생성 길이를 실질적으로 단축시키는 창발적 현상(emergent phenomenon)이 나타났습니다. 초기 명시적 추론을 연속적인 잠재 단계(latent steps)로 대체함으로써, 모델은 종종 훨씬 적은 총 생성 단계(generation steps)를 사용하여 정답에 도달합니다. 이러한 발견은 연속적인 궤적이 압축된 중간 추론 상태(intermediate reasoning states)로 작용함을 시사하며, 잠재 계산 예산(latent computation budget), 출력 길이, 그리고 정확도 사이의 새로운 트레이드오프(tradeoff)를 드러냅니다.