우주 속의 이야기: 개념적 신념 공간에서의 인컨텍스트 학습 (In-Context Learning) 궤적

대규모 언어 모델 (LLMs)은 문맥 내에서 자신의 행동을 업데이트하며, 이는 베이지안 추론 (Bayesian inference)의 한 형태로 볼 수 있습니다. 그러나 이러한 추론이 작동하는 잠재적 가설 공간 (latent hypothesis space)의 구조는 여전히 불분명합니다. 본 연구에서 우리는 LLMs가 저차원의 기하학적 공간, 즉 개념적 신념 공간 (conceptual belief space)에 대한 신념을 할당하며, 인컨텍스트 학습 (in-context learning)이 시간이 지남에 따라 신념이 업데이트됨에 따라 이 공간을 통과하는 궤적 (trajectory)에 해당한다고 제안합니다. 동적인 신념 업데이트를 위한 자연스러운 환경으로 이야기 이해 (story understanding)를 사용하여, 우리는 이러한 궤적을 연구하기 위해 행동적 분석과 표현 분석 (representational analyses)을 결합합니다. 우리는 다음을 발견했습니다: (1) 신념 업데이트는 저차원의 구조화된 매니폴드 (manifolds) 상의 궤적으로 잘 설명됩니다; (2) 이러한 구조는 모델의 행동과 내부 표현 (internal representations) 모두에 일관되게 반영되며, 단순한 선형 프로브 (linear probes)를 통해 디코딩하여 행동을 예측할 수 있습니다; (3) 이러한 표현에 대한 개입 (interventions)은 신념 궤적을 인과적으로 조종하며, 그 효과는 개념적 공간의 기하학으로부터 예측될 수 있습니다. 종합적으로, 우리의 결과는 LLMs의 신념 역학 (belief dynamics)에 대한 기하학적 설명을 제공하며, 인컨텍스트 학습의 베이지안 해석을 구조화된 개념적 표현에 근거하게 합니다.