LLM(대규모 언어 모델)에서 장기 메모리 (long-term memory)를 처리하는 능력은 점점 더 중요해지고 있지만, 기존의 벤치마크들은 영어 중심적이며 집계된 검색 지표 (aggregate retrieval metrics)에 의존하고 있어, 장거리 문맥 (long-range context), 시간 정보 (temporal information), 그리고 추론 (reasoning) 사이의 상호작용을 포착하지 못하고 있습니다. 이를 해결하기 위해, 우리는 RUMBA (Russian User Memory BenchmArk)를 소개합니다. 이는 장기 대화 메모리를 위한 새로운 벤치마크로, 메모리 중심 질문 유형에 대한 세밀한 분류 체계 (fine-grained taxonomy)와 의미 유형 (semantic type), 세션 범위 (session scope), 시간적 추론 (temporal reasoning), 그리고 시간 표현의 명시성 (explicitness of temporal expressions)을 고려한 통합된 방법론을 제공합니다. RUMBA는 타임스탬프가 찍힌 사용자-어시스턴트 대화로 구성되며, 세션 전반에 걸친 검색 (retrieval), 결합 (combination), 그리고 추론 (reasoning)을 요구하는 QA 쌍을 포함합니다. 러시아어를 위해 설계되었지만, 동일한 방법론 하에 정렬된 영어 서브셋 (English subset)도 함께 제공합니다. 우리는 현대적인 메모리 시스템과 롱 컨텍스트 모델 (long-context models)을 평가하며, RUMBA가 벤치마크 슬라이스 (benchmark slices) 전반에 걸쳐 모델의 동작을 분석하고 다양한 메모리 메커니즘의 강점과 실패 모드 (failure modes)를 식별하는 진단 도구로서 어떻게 기능하는지 보여줍니다.