LLM 추론 능력 향상을 위한 하이브리드 아키텍처 연구

대규모 언어 모델(LLM)의 추론 능력은 종종 단일하고 거대한 기능으로 간주되지만, 실제로는 '기억 검색(recall)'과 '상태 추적(state-tracking)' 같은 보다 기본적인 원시 요소(primitives)들의 조합에서 비롯되는 것으로 분석됩니다. 본 연구는 이 두 가지 핵심 원시 요소를 중심으로 LLM의 추론 과정을 탐구하고, 특히 이 두 기능을 동시에 요구하는 작업에 어떤 아키텍처가 더 적합한지 검증했습니다.

저희는 주의 집중 기반 검색(attention-based retrieval)과 순환 상태 업데이트(recurrent state updates)를 결합한 하이브리드 아키텍처와, 오직 어텐션 메커니즘만을 사용하는 모델들을 비교 평가했습니다. 이 모델들은 지침 튜닝(instruction-tuned) 및 추론 증강(reasoning-augmented)된 변형을 사용했으며, 상태 추적과 검색 원시 요소가 혼합된 통제된 작업 세트에서 테스트되었습니다.

연구 결과는 다음과 같은 중요한 시사점을 제공합니다. 첫째, 모든 작업에 걸쳐 '추론 증강' 자체가 가장 큰 전반적인 성능 향상을 가져왔으며, 이는 모델이 효과적으로 작동할 수 있는 난이도 범위를 크게 확장시킵니다. 둘째, 특히 순차적 의존성(sequential dependence)이 증가하는 특정 작업에서는 하이브리드 추론 모델이 기존 트랜스포머 기반의 추론 모델보다 훨씬 높은 강건성을 유지했습니다. 반면, 트랜스포머 기반의 추론 모델은 주어진 임계점을 넘어서는 작업 난이도가 높아지자 성능 저하가 급격하게 나타났습니다.

이러한 결과들은 LLM의 추론 능력이 단순히 '추론 토큰(reasoning tokens)'을 추가하는 것만으로 완성되는 것이 아님을 시사합니다. 명시적인 추론 과정은 모델의 유효 작동 범위를 확장할 수는 있지만, 그 이점은 근본적으로 **지속적인 상태 전파(persistent state propagation)**를 얼마나 잘 지원하는 하부 아키텍처적 편향(architectural inductive biases)에 달려있다는 것을 보여줍니다. 즉, 추론을 위한 '도구'와 이를 안정적으로 구동할 수 있는 '엔진'이 모두 필요하다는 의미입니다.

본 연구가 제한된 모델과 작업 세트를 다루었기에 결론적이라기보다는 시사점으로 제시하지만, LLM 아키텍처 설계 시 추론 능력을 단순히 어텐션 메커니즘의 확장으로 볼 것이 아니라, 상태 관리와 검색 기능을 분리하고 이를 하이브리드 방식으로 통합하는 접근 방식을 고려해야 함을 강력히 제안합니다.