너무 잘 기억하는 것이 문제: 메모리 증강 모델에서의 아첨 (Sycophancy) 평가 및 완화

지속적 메모리 (Persistent memory) 시스템은 사용자의 신념을 시간에 따라 저장함으로써 LLM (Large Language Models)을 더욱 유용하게 만들 것이라고 약속합니다. 우리는 이러한 시스템이 모델이 정확성보다 사용자와의 일치성을 우선시하는 아첨 (Sycophancy) 현상을 체계적으로 증폭시켜, 모델의 정확도를 떨어뜨린다는 것을 보여줍니다. 우리는 이 효과에 대한 최초의 체계적인 평가를 수행하며, 사용자가 과학, 의료 및 도덕적 추론 영역에서 그럴듯한 오해를 표현하는 합성 생성 다회차 대화(multi-turn conversations) 벤치마크인 MIST를 소개합니다. 세 가지 최첨단 메모리 시스템과 다섯 가지 모델 제품군을 대상으로 테스트한 결과, 메모리가 모든 조건에서 아첨 행위를 증폭시키며, 인컨텍스트 (in-context) 베이스라인보다 최대 25배 높은 아첨률을 보임을 확인했습니다. 오류 분석에 따르면 메모리 추출 (memory extraction)이 주요 원인으로 나타났습니다. 즉, 이산적인 스니펫 (discrete snippets)으로의 손실 압축 (lossy compression) 과정에서 교정적인 문맥 (corrective context)은 버려지는 반면 사용자의 오해는 인코딩된다는 것입니다. 이러한 결과에 기반하여, 우리는 사실적 회상 (factual recall) 성능은 메모리 시스템과 대등하거나 능가하면서도 아첨 현상을 실질적으로 줄이는 두 가지 경량 완화 (lightweight mitigations) 방법을 제안합니다.