대규모 언어 모델 (LLM) 에이전트가 개인화된 동반자로 진화함에 따라, 메모리 (memory)는 핵심 역량으로 부상했습니다. 그러나 LLM은 지식 활용 문제에 직면해 있습니다. 즉, 사용자 선호도가 컨텍스트 (context) 내에 완전히 존재하더라도 관련 선호도에 따라 행동하는 데 실패할 수 있습니다. 에이전트가 이전에 공유된 사용자 선호도가 중요하게 작용해야 하는 컨텍스트에서 응답을 맞춤화하지 못할 때, 모델이 해당 정보를 기억하는 데 실패한 것인지, 아니면 기억은 했으나 사용하는 데 실패한 것인지가 불분명합니다. 이러한 결함을 격리하기 위해, 우리는 동일한 사용자 선호도에 대해 쌍을 이룬 '알기 (Know)' 및 '행동하기 (Act)' 테스트를 실시하는 분리된 평가 패러다임을 도입합니다. 우리는 16개의 시스템과 5개의 메모리 아키텍처 (memory architectures)에 걸쳐 대규모 실험을 수행하며, 세 가지 수준의 표현 강도로 임베딩된 1,000개의 선호도를 평가합니다. 연구 결과, '알기'와 '행동하기' 결과 사이에 큰 격차가 있음을 보여줍니다. 에이전트는 사용자 선호도에 대한 회상 (recall) 테스트는 통과하는 경우가 많지만, 쌍을 이룬 행동 시나리오에서 동일한 선호도를 반영하는 데는 실패합니다. 메모리 아키텍처가 이러한 격차를 줄여주기는 하지만, 행동 실패가 현실 세계에서 가장 큰 위험을 초래하는 건강 및 치료 관련 선호도에 대해서는 활용 능력이 특히 취약한 것으로 나타났습니다.