언어 모델(Language Models) 내 페르소나 의존적 선호도(Persona-Dependent Preferences) 조사

요약

본 기사는 대규모 언어 모델(LLMs)이 특정 작업과 출력을 선호하는 '선호도'를 가지며, 이 선호도가 사후 학습 및 시스템 프롬프트에 의해 형성됨을 탐구합니다. 연구진은 Gemma-3-27B와 Qwen-3.5-122B 모델의 잔차 스트림 활성화에 선형 프로브를 적용하여 '선호도 벡터'를 식별했습니다. 이 벡터는 다양한 페르소나 전반에 걸쳐 공유되는 핵심 표현으로, 이를 통해 특정 페르소나의 선택을 인과적으로 제어(steering)할 수 있음을 입증했습니다.

핵심 포인트

• LLMs의 행동은 사후 학습 및 시스템 프롬프트로 형성된 '선호도'에 의해 크게 결정된다.
• 연구진은 모델의 잔차 스트림 활성화에서 '선호도 벡터(preference vector)'를 식별하는 데 성공했다.
• 이 선호도 벡터는 다양한 페르소나 전반에 걸쳐 공유되는 공통된 표현을 나타낸다.
• 식별된 선호도 벡터를 사용하여 모델의 출력을 인과적으로 제어(steering)할 수 있으며, 이는 쌍체 작업 선택 예측에 활용된다.