우주 속의 이야기: 개념적 신념 공간에서의 인컨텍스트 학습 (In-Context Learning) 궤적

요약

본 연구는 대규모 언어 모델(LLMs)의 인컨텍스트 학습(in-context learning) 과정을 단순한 추론이 아닌, 저차원의 '개념적 신념 공간'을 따라 이동하는 궤적으로 해석합니다. LLMs가 문맥에 따라 자신의 지식을 업데이트하는 과정은 이 기하학적 공간에서의 신념 변화를 의미하며, 이는 베이지안 추론의 한 형태로 간주됩니다. 연구진은 행동 분석과 내부 표현 분석을 결합하여 이러한 신념 궤적을 규명하고, 이를 조작함으로써 LLMs의 작동 원리에 대한 새로운 기하학적 이해를 제시합니다.

핵심 포인트

• LLMs의 인컨텍스트 학습은 개념적 신념 공간(conceptual belief space)에서의 궤적으로 설명될 수 있다.
• 신념 업데이트는 저차원의 구조화된 매니폴드(manifolds) 상에서 발생하며, 이는 모델의 행동과 내부 표현 모두에 일관되게 반영된다.
• 내부 표현에 대한 개입을 통해 신념 궤적을 인과적으로 조종할 수 있으며, 그 효과는 개념적 공간의 기하학으로부터 예측 가능하다.
• 본 연구는 LLMs의 베이지안 해석을 구조화된 개념적 표현에 기반한 기하학적 틀로 제시한다.