대규모 언어 모델(LLM)은 컨텍스트 내에서 믿음 상태 기하학을 발전시킨다

요약

본 연구는 대규모 언어 모델(LLM)이 컨텍스트 내 학습(ICL) 능력을 보이지만, 그 표현 메커니즘을 이해하기 어렵다는 점에 주목했습니다. 연구진은 HMM 데이터를 사용하여 LLMs의 은닉 상태를 탐지하고, 이 믿음 상태가 잔여 스트림 활성화로부터 선형적으로 디코딩 가능함을 입증했습니다. 이는 ICL이 컨텍스트 기반 최적 베이즈 예측을 근사한다는 강력한 증거를 제시합니다.

핵심 포인트

• LLM의 ICL 능력을 HMM 은닉 상태와 연결하여 분석함.
• 믿음 상태가 LLM 활성화로부터 선형적으로 디코딩 가능함을 발견함 (R² 0.83-0.99).
• 탐지된 부분 공간에 개입(patching/steering)했을 때 모델 성능이 유지됨을 입증함.
• ICL이 컨텍스트 기반 최적 베이즈 예측을 근사한다는 이론적 증거를 제공함.