LLM 추론 능력 향상을 위한 하이브리드 아키텍처 연구

요약

본 논문은 대규모 언어 모델(LLM)의 추론 능력을 단일한 기능으로 보기보다, '기억 검색(recall)'과 '상태 추적(state-tracking)'이라는 기본적인 원시 요소(primitives)로 분해하여 분석합니다. 특히, 주의 집중 기반 검색(attention-based retrieval)과 순환 상태 업데이트(recurrent state updates)를 결합한 하이브리드 아키텍처가 두 가지 요소를 동시에 요구하는 작업에서 기존의 어텐션 전용 모델보다 우수함을 입증했습니다. 연구 결과, 추론 증강(reasoning) 자체가

핵심 포인트

• 하이브리드 아키텍처는 검색 기반과 상태 업데이트를 결합하여, 순차적 의존성이 높아지는 작업에서 기존 트랜스포머 모델 대비 높은 강건성(robustness)을 보였습니다.
• 추론 증강은 전반적인 성능 향상에 가장 큰 기여를 했으며, 모델이 효과적으로 작동할 수 있는 난이도 범위를 크게 확장시킵니다.
• LLM의 추론 능력 향상은 단순히 '추론 토큰' 추가만으로는 충분하지 않으며, 근본적으로 지속적인 상태 전파(persistent state propagation)를 지원하는 아키텍처적 편향(inductive biases)에 달려 있습니다.