LLM 사전 학습을 통한 페르소나 벡터 (Persona Vectors) 추적

요약

본 논문은 LLM 내부에서 '악함'이나 '아첨' 같은 특정 특성을 나타내는 '페르소나 벡터(persona vectors)'를 추적하고 그 형성 과정을 분석합니다. 연구진은 OLMo-3-7B의 사전 학습 과정 전반에 걸쳐 이 벡터들을 추적한 결과, 페르소나 벡터가 매우 초기 단계인 OLMo-3 사전 학습 초기에 이미 형성되며 사후 학습을 거친 지시 모델에서도 효과적으로 유지됨을 발견했습니다. 또한, 다양한 유도 전략들이 각기 다른 질적인 측면의 페르소나를 드러냄을 확인하고, 이 표현이 초기 사전 학습에서 안정적으로 형성되는 핵심 특징임을 입증했습니다.

핵심 포인트

• 페르소나 벡터는 LLM 내부 활성화 내에 존재하며, 특정 행동 특성(예: 악함, 아첨)을 나타내는 선형 방향으로 식별됩니다.
• 해당 페르소나 벡터들은 모델의 매우 초기 사전 학습 단계에서 이미 형성되며, 사후 학습된 지시 모델에서도 효과적으로 유지되는 안정성을 보입니다.
• 페르소나 벡터는 초기에 형성되지만, 전체 사전 학습 과정에 걸쳐 기하학적 및 의미론적으로 지속적으로 정교화됩니다.
• 다양한 유도(elicitation) 전략을 비교 분석하여 각 전략이 근본적인 페르소나의 질적으로 구별되는 측면들을 드러냄을 확인했습니다.