신경 절차적 메모리 (Neural Procedural Memory): 암시적 활성화 스티어링 (Implicit Activation

대규모 언어 모델 (LLMs)은 정적인 해결사 (static solvers)로서 탁월한 성능을 보이지만, 이를 자율적인 에이전트로 변환하는 것은 여전히 도전적인 과제로 남아 있습니다. 이러한 전환에는 지속적인 환경 상호작용이 필요하지만, 현재의 에이전트들은 필요한 지속적인 절차적 메모리 (procedural memory)가 부족합니다. 기존의 접근 방식들은 주로 검색 증강 생성 (Retrieval-Augmented Generation (RAG))을 사용하여 명시적인 텍스트 가이드라인을 모델 컨텍스트에 주입합니다. 그러나 상징적 지침 (symbolic instructions)에만 의존하면 텍스트와 행동 사이의 단절 (text-action disconnect)이 발생할 수 있으며, 정확한 작업 수행에 필요한 내부 표현 (internal representations)을 활성화하는 데 자주 실패합니다. 이를 해결하기 위해, 본 논문은 명시적인 지침 대신 암시적 활성화 스티어링 (implicit activation steering)을 통해 에이전트 메모리를 표현하는 훈련이 필요 없는 프레임워크인 신경 절차적 메모리 (Neural Procedural Memory (NPM))를 소개합니다. 과거의 대조적 경험 (contrastive experiences)으로부터 절차적 기술을 활성화 공간 (activation space) 내의 스티어링 벡터 (steering vectors)로 증류함으로써, NPM은 작업 수행을 가이드하기 위해 작업 관련 신경 메커니즘을 직접 활성화합니다. 4개의 에이전트 벤치마크에 대한 평가 결과, NPM은 명시적인 텍스트 지침을 사용하는 베이스라인과 대등한 성능을 보여주었습니다. 또한, 결과에 따르면 암시적 스티어링과 명시적 워크플로우 (workflows)를 결합하면 상호 보완적인 이점을 제공하여 더욱 견고한 작업 수행으로 이어집니다. 표현 분석 (Representational analyses)에 따르면, 이러한 스티어링 벡터는 일관된 작업 로직을 인코딩하며 활성화 공간 내에 조직된 구조를 형성합니다. 이러한 발견은 암시적 활성화 스티어링이 에이전트 메모리를 관리하기 위한 유망한 접근 방식임을 시사합니다.