대규모 언어 모델 (LLM)이 고차원적인 행동을 내부적으로 어떻게 표현하는지는 AI 안전 (AI safety)과 직접적인 관련이 있는 핵심적인 해석 가능성 (interpretability) 문제이며, 이는 우리가 무엇을 탐지, 감사 또는 개입할 수 있는지를 결정합니다. 최근 연구에 따르면 악함 (evil) 또는 아첨 (sycophancy)과 같은 특성들이 내부 활성화 (internal activations) 내의 선형 방향, 즉 이른바 페르소나 벡터 (persona vectors)와 일치한다는 것이 밝혀졌습니다. 이러한 벡터들은 이제 안전 관련 설정에서 모델의 행동을 검사하고 조종 (steer)하는 데 일상적으로 활용되고 있지만, 이러한 표현들이 학습 과정 중 어떻게 형성되는지는 여전히 알려지지 않았습니다. 이 공백을 메우기 위해, 우리는 OLMo-3-7B의 사전 학습 (pretraining) 과정 전반에 걸쳐 페르소나 벡터를 추적하였으며, 페르소나 벡터가 매우 이른 시기인 OLMo-3 사전 학습의 0.22% 이내에 형성되며, 사후 학습 (post-trained)을 완전히 마친 지시 모델 (instruct models)을 조종하는 데에도 효과적으로 유지된다는 것을 발견했습니다. 핵심적인 표현들은 초기에 형성되지만, 페르소나 벡터는 사전 학습 전반에 걸쳐 기하학적 및 의미론적으로 계속 정교해집니다. 우리는 더 나아가 대안적인 유도 (elicitation) 전략들을 비교하였으며, 모든 전략이 효과적인 방향을 산출하지만 각 전략이 기저에 깔린 페르소나의 질적으로 구별되는 측면들을 드러낸다는 것을 확인했습니다. Apertus-8B에서 우리의 분석을 재현한 결과, 우리의 발견이 OLMo-3를 넘어 질적으로 전이됨을 보여줍니다. 우리의 결과는 페르소나 표현이 초기 사전 학습의 안정적인 특징임을 입증하며, 학습이 이를 어떻게 형성하고, 정교화하며, 모양을 잡아가는지를 연구하는 길을 열어줍니다.