고발하는 규범: Large Language Models의 추론 역학을 위한 신호로서의 $\ell_2$ 크기

최근 연구들은 Large Language Models (LLMs)의 추론을 이해하고자 노력해 왔으나, 층별(layer-wise) 추론 역학을 포착하는 원칙적이고 모델 내재적인(model-intrinsic) 신호는 여전히 미개척 상태로 남아 있습니다. 본 연구에서는 은닉 상태(hidden states)의 $\ell_2$ 노름(norm)이 모델의 추론 강도를 나타내는 내생적(endogenous) 신호로 작용함을 입증함으로써 이 간극을 메웁니다. Sparse Autoencoders (SAEs)를 진단 프로브(diagnostic probe)로 사용하여, 우리는 LLM의 내부 추론이 후기 층(late layers)에 집중된 추론 특징(reasoning feature) 활성화의 급격한 증가로 특징지어진다는 것을 관찰했습니다. 이러한 패턴에 착안하여, 우리는 추론 강도와 모델의 잠재 기하학(latent geometry) 사이의 공식적인 연결 고리를 구축하였으며, 은닉 상태의 $\ell_2$ 노름이 SAE 추론 특징의 활성화 강도를 제한(bounds)한다는 것을 이론적으로 증명합니다. 경험적 상관관계 분석(Empirical correlation analysis)과 인과적 개입(causal interventions)을 통해 $\ell_2$ 노름이 신뢰할 수 있는 지표임을 추가로 검증하였으며, 높아진 노름은 일관되게 중요한 추론 단계와 일치함을 확인했습니다. 이어 우리는 $\ell_2$ 노름에 의해 가이드되는 세 가지 테스트 시간 스케일링(test-time scaling) 기술을 소개합니다: (i) 적응형 층별 추론 재귀 (Adaptive Layer-wise Reasoning Recursion), (ii) 내생적 추론 상태 스티어링 (Endogenous Reasoning State Steering), 그리고 (iii) $\ell_2$ 가이드 응답 선택 ($\ell_2$-guided Response Selection)입니다. 이 기술들은 추가적인 학습이나 데이터가 필요하지 않으며 고급 추론 엔진과 호환됩니다. 다양한 모델 아키텍처와 벤치마크에 걸친 실험 결과, $\ell_2$ 노름 기반 기술이 추론 성능을 유의미하게 향상시킴을 보여주었으며, 이는 LLM의 잠재적 추론 역학을 인지하고 제어할 수 있는 원칙적이면서도 단순한 관점을 제공합니다. 우리의 코드는 https://github.com/zjy1298/The-Tell-Tale-Norm 에서 확인할 수 있습니다.