StratMem-Bench: 사실적 회상 너머의 가상 캐릭터 대화에서 전략적 기억 활용 평가

가상 캐릭터에 대한 현실적인 인간 같은 대화를 구현하기 위해서는 과거 사건에 대한 단순한 암기와 회상뿐만 아니라, 사실적 필요와 사회적 상호작용을 충족시키기 위해 기억을 전략적으로 활용하는 것이 필수적입니다. 현재 관련 있는 기억 활용 (예: 기억 증강 생성, 장기 대화 등) 벤치마크들은 이러한 뉘앙스를 간과하여, 기억을 대화에서 전략적으로 배치해야 할 동적인 자원이라기보다는 사실의 정적 저장소로 취급합니다. 이 격차를 해소하기 위해 우리는 캐릭터 중심 대화에서의 전략적 기억 활용을 평가하는 새로운 벤치마크인 StratMem-Bench를 설계했습니다. 이 데이터셋은 가상 캐릭터가 필수적, 지원적, 그리고 관련 없는 기억으로 구성된 이질적인 기억 풀을 탐색해야 하는 657개의 인스턴트를 포함합니다. 또한 우리는 엄격한 기억 준수 (Strict Memory Compliance), 기억 통합 품질 (Memory Integration Quality), 선제적 풍부화 점수 (Proactive Enrichment Score), 조건부 무관심률 (Conditional Irrelevance Rate) 을 포함한 다양한 평가 지표를 가진 프레임워크를 제안하여 가상 캐릭터의 전략적 기억 활용 능력을 평가합니다. StratMem-Bench에서 최첨단 대규모 언어 모델을 가상 캐릭터로 활용하는 실험 결과, 모든 모델이 필수적과 관련 없는 기억을 구분하는 데에는 잘 수행되었으나, 지원적 기억이 의사결정 과정에 도입되면 어려움을 겪는 것으로 나타났습니다.