메모리는 현대의 LLM (Large Language Model) 기반 에이전트의 초석으로 부상하였으며, 단발성 어시스턴트에서 장기적 협업자로의 진화를 지원하고 있습니다. 그러나 메모리가 항상 유익한 것은 아닙니다. 검색된 메모리는 종종 아첨 (Sycophancy)이라는 심각한 문제를 유발하여, 에이전트가 사실적 정확성이나 객관적 추론을 희생하면서 사용자에게 과도하게 맞추도록(over-align) 만듭니다. 이러한 새로운 위험에도 불구하고, 기존의 메모리 벤치마크는 주로 메모리가 올바르게 저장, 검색 또는 업데이트되는지를 평가할 뿐, 검색된 메모리가 다운스트림 추론 (downstream reasoning) 및 의사 결정에 어떻게 영향을 미치는지에 대해서는 간과하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 에이전트 시스템에서 메모리로 인해 발생하는 아첨 현상을 평가하기 위한 종합적인 벤치마크인 MemSyco-Bench를 제안합니다. MemSyco-Bench는 언제 메모리가 의사 결정에 영향을 미쳐야 하는지, 그리고 유효한 메모리가 어떻게 사용되어야 하는지를 측정합니다. 구체적으로, 이 벤치마크는 에이전트가 메모리를 사실적 증거로서 거부할 수 있는지, 메모리의 적용 범위를 준수하는지, 메모리와 객관적 증거 사이의 충돌을 해결하는지, 메모리 업데이트를 추적하는지, 그리고 개인화를 위해 유효한 메모리를 사용하는지를 평가하는 다섯 가지 태스크를 포함합니다. 모든 관련 리소스는 커뮤니티를 위해 https://github.com/XMUDeepLIT/MemSyco-Bench 에 수집되어 있습니다.