Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 언어 모델 에이전트의 장기 기억을 개선하기 위해 사실(fact) 수준에서의 개인화된 메모리 게이팅 학습 방법을 제안합니다. 검색 기반 라벨링 전략과 지연된 단방향 피드백을 활용한 Warm-Start UCB를 통해, 오프라인 학습과 온라인 적응을 결합하여 높은 성능을 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기장기 기억은 언어 모델 에이전트가 미래의 상호작용을 개인화할 수 있게 하지만, 유한한 메모리 뱅크는 추출된 모든 사실을 보존할 수 없습니다. 기존의 메모리 게이팅 정책들은 일반적으로 사용자 간에 공유되므로, 사용자의 특정 미래 재사용 패턴을 고려하지 못합니다. 본 논문에서는 사실(fact) 수준에서의 메모리 게이팅을 연구합니다. 먼저, 각 사실이 나중에 검색되어 응답에 통합되는지 여부로 레이블링하는 검색 기반 라벨링 전략을 제안합니다. 그런 다음 온라인 메모리 게이팅을 지연된 단방향 피드백을 가진 문맥적 애플 시음(apple tasting)으로 공식화하고, 기존 데이터로부터의 오프라인 학습과 현재 사용자에게의 온라인 적응을 결합한 Warm-Start UCB를 제안합니다. 우리의 이론적 분석은 지연 창이 $O(\sqrt{T})$ 이하일 때, 총 라운드 수를 $T$, 초기화 오류를 $\epsilon$, 특징 맵의 차원을 $d$라고 할 때, 높은 확률의 후회 상한선(regret upper bound)을 $ ilde{O}(T\epsilon\wedge d\sqrt{T})$로 확립합니다. 실험 결과는 우리의 방법이 다양한 메모리 예산 및 기록 길이 하에서 모든 베이스라인보다 우수함을 입증하며, 이를 유망한 개인화된 메모리 게이팅 정책으로 자리매김하게 합니다.