잠재적 개인 메모리 (Latent Personal Memory): 개인의 메모리를 동적인 소프트 프롬프트 (soft prompts)로 표현하기

대규모 언어 모델 (LLMs)을 개인화하기 위해서는 장기적이고 사용자 특유의 행동 패턴을 계산 효율적이고, 확장 가능하며, 동결된 베이스 모델 (frozen base model)과 호환되는 방식으로 인코딩해야 합니다. 우리는 사용자 특유의 이력을 해석 가능한 N개의 잠재 슬롯 (latent slots)으로 구성된 압축되고 지속적인 행렬로 표현하는 확장 가능한 프레임워크인 잠재적 개인 메모리 (Latent Personal Memory, LPM)를 제안합니다. 공유된 교차 주의 집중 투영 네트워크 (shared cross-attention projection network)는 이러한 슬롯들을 동적이고 입력 조건부인 소프트 프롬프트 (soft prompts)로 매핑하며, 이는 동결된 LLM의 입력 앞에 추가됩니다. 우리는 Qwen3-1.7B, 4B, 8B 백본을 사용하여 PersonaMem v1 및 LoCOMO 벤치마크에서 LPM을 평가합니다. 결과에 따르면, LPM은 PersonaMem v1에서 전체 정확도 측면에서 LoRA보다 최대 8.8%, 프롬프트 튜닝 (Prompt Tuning)보다 최대 54.4% 더 높은 성능을 보이는 동시에, KV-캐시 (KV-cache) 사용량을 64배 이상 줄였습니다. LoCoMo에서는 LPM이 120배 적은 학습 가능한 파라미터 (trainable parameters)로 LoRA의 정확도와 일치하는 성능을 보여주었습니다. 또한 우리는 LPM의 효율성이 컨텍스트 길이 (context length)에 따라 증가하며, 128K 컨텍스트 길이에서는 전체 컨텍스트 (full-context) 방식보다 뛰어난 성능을 보임을 입증했습니다.