활성화 스티어링을 메모리로 사용할 때 생존하는 것

최근 활성화 스티어링(Activation steering)이 기술(skills)의 메모리로 사용되어 왔습니다. 즉, 에이전트의 과거 경험이 스티어링 벡터로 저장되고 나중에 검색됩니다. 반면, 사용자에 대한 사실이나 선호도는 텍스트가 필요하다고 가정합니다. 우리는 이 가정을 고정된 LLM 옆에서 학습 과정 없이(training-free) 활성화 메모리를 사용하여 테스트했습니다. 한 경험이 후기 레이어 상태에 일으키는 변화는 '시프트(shift)'로 저장되며, 대화의 핵심 내용(gist)을 위해 백색화된 키(whitened key) 아래 파일링되고, 나중에 그 핵심 내용과 일치할 때만 다시 추가됩니다. 우리는 이러한 시프트가 어텐션(attention)이 맥락 속에서 모든 질문에 대해 재계산하는 효과의 고정 평균이라고 주장하며, 따라서 질문과 무관한 콘텐츠만이 생존할 수 있다고 말합니다. Qwen3.5-2B와 9B를 대상으로 네 가지 모델 패밀리의 심사위원들이 참여한 사전에 등록된 연구에서, 이 메모리는 선택적입니다(무관한 답변의 약 98%가 변경되지 않음). 하지만 사실들은 마지막 레이어에 오직 말해야 할 단어로 저장되며 거의 사용되지 않습니다(최대 15%의 깨끗한 사용률로, 맥락 속에서는 96~98%임). 선호도는 좁은 강도 범위에서만 전이됩니다. 가장 놀라운 점은, 선호도를 작성할 때 빼는 참조 값에 따라 그 개념 또는 방향이 생존하는지를 결정한다는 것입니다. 반대되는 것이 빼지지 않는 한, 저장된 '싫어함(dislike)'은 '좋아함(like)'으로 회상됩니다.