대규모 언어 모델 내의 선호도 헤드: 해석 가능한 개인화를 위한 기계론적 프레임워크

요약

본 연구는 대규모 언어 모델(LLMs)의 암묵적인 개인화 능력을 해석 가능한 방식으로 제어하기 위한 'Differential Preference Steering (DPS)'라는 새로운 프레임워크를 제안합니다. 기존 방식들이 블랙박스에 의존했던 것과 달리, DPS는 LLM 내부에 사용자 선호도를 인코딩하는 희소한 'Preference Heads'가 존재한다고 가정하고 이를 식별합니다. 이 프레임워크는 훈련 과정 없이(training free) 추론 시점에 특정 헤드를 조작하여 사용자의 스타일이나 주제에 맞는 개인화된 출력을 생성하며, 높은 해석 가능성과 낮은 계산 오버헤드를 동시에 달성함을 입증했습니다.

핵심 포인트

• LLMs의 개인화를 블랙박스 접근법에서 벗어나 기계론적(mechanistic)으로 해석 가능한 프레임워크로 전환함.
• 사용자 선호도를 인코딩하는 핵심 요소인 'Preference Heads'를 식별하고 이를 제어할 수 있는 방법을 제시함.
• 제안된 'Differential Preference Steering (DPS)'는 훈련이 필요 없는(training free) 방식으로 추론 시점에 개인화를 수행하여 효율적임.
• Attention Head의 기여도를 측정하는 'Preference Contribution Score (PCS)'를 도입하여 개인화의 인과적 영향을 정량적으로 분석함.
• 개인화 충실도 향상과 낮은 계산 오버헤드를 동시에 달성하며, 모델 내부 작동 원리에 대한 깊은 이해를 제공함.