Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM의 작동 메커니즘을 물리적 관점에서 분석하며, 인지장 이론(Cognitive Field Theory)을 적용했습니다. 트랜스포머 레이어 야코비안으로부터 이완 스펙트럼을 추출하여 TDOS와 메모리 자가 에너지 등을 정량적으로 측정했습니다. 그 결과, LLM의 역학이 적외선 느린 모드의 점진적 축적에 의해 지배됨을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLM)은 놀라운 출현적 행동을 보이지만, 그들의 집단 역학을 지배하는 물리적 메커니즘은 여전히 이해하기 어렵습니다. 인지장 이론(Cognitive Field Theory)은 학습이 느린 이완 모드(slow relaxation modes)의 적외선 축적(infrared accumulation)을 통해 상태 밀도 시간 스케일(Time-scale Density of States, TDOS)을 재조직하여 메모리 자가 에너지(memory self-energy)를 향상시키고, 인지 망각 간격(cognitive forgetting gap)을 줄이며, 집단 감수성(collective susceptibility)을 강화할 것이라고 예측합니다. 공개적으로 사용 가능한 Pythia 언어 모델을 사용하여, 우리는 훈련 전반, 네트워크 깊이, 모델 규모에 걸쳐 트랜스포머 레이어 야코비안(Transformer layer Jacobians)으로부터 이완 스펙트럼을 직접 추출함으로써 TDOS, 메모리 자가 에너지, 망각 간격, 메모리 커널, 그리고 적외선 임계 지수(infrared critical exponent)를 정량적으로 측정할 수 있었습니다. 이러한 측정 결과는 느린 이완 모드의 점진적인 적외선 축적을 보여주며, 이는 $
ho(\lambda)\sim\lambda^{-0.1}$인 거의 평탄한 적외선 TDOS와 $K(t)\sim t^{-1}$의 스케일 프리 메모리 커널을 생성합니다. 메모리 자가 에너지는 초기 최적화 동안 뚜렷한 과도 최대값(transient maximum)을 보인 후, 인지장 이론이 예측하는 가장 작은 망각 간격과 가장 큰 집단 감수성에 해당하는 준안정적인 근임계 영역으로 이완됩니다. 이러한 관찰 결과는 트랜스포머 역학이 적외선 집단 조직화에 의해 지배된다는 정량적 실험 증거를 제공합니다. 훈련, 네트워크 깊이, 모델 규모 전반에 걸쳐 동일한 동역학적 행동의 재현성은 적외선 느린 모드 조직화가 트랜스포머 역학의 보편적인 집단 원리임을 시사합니다.