Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
![[논문] REMORY: 컨텍스트 압축을 위한 잔여 메모리 학습 대표 이미지](/api/thumb?u=https%3A%2F%2Fpreview.redd.it%2Feg6b7xjcjmwh1.png%3Fwidth%3D640%26crop%3Dsmart%26auto%3Dwebp%26s%3D48ea47128cabbe328b52ca902068bd884a052683&w=640&s=BZNAv2zgG6xBrd0gfZytjRN-)
REMORY는 장기 지평선 에이전트가 유한 컨텍스트 창 내에서 일관성을 유지하도록 돕는 신경 메모리 네트워크입니다. 이 모델은 요약에 조건화된 '소프트 메모리 토큰 시퀀스'를 추가하여, 전체 기록의 연속성을 추정하고 후속 결정을 지원합니다. SummHay 및 장기 에이전트 벤치마크에서 성능 향상을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기장기 지평선(long-horizon) 에이전트는 유한한 컨텍스트 창 내에서 계속하기 위해 자신의 기록을 압축하지만, 텍스트 요약만으로는 모든 후속 결정을 지원할 수 없습니다. 우리는 REMORY를 소개합니다. 이는 요약에 경계가 있는 소프트 메모리 토큰 시퀀스를 추가하는 신경 메모리 네트워크입니다. 이 네트워크는 주어진 기록과 요약을 바탕으로, 고정된 LLM(대규모 언어 모델)이 전체 기록을 가지고 생성했을 것으로 추정되는 연속성을 돕는 토큰을 학습하여 생성합니다. 이 토큰들은 요약에 조건화되어 그 뒤에 추가되며, 시퀀스 차원을 따라 잔여 연결(residual connection)의 유사체(analogue)를 형성합니다. SummHay에서 REMORY는 통찰력 커버리지를 거의 변화시키지 않으면서 소스 기여도(source attribution)를 개선하며, 입력 위치의 5.2%만을 사용하여 전체 컨텍스트 결합 점수(full-context joint score)에 근접합니다. 장기 지평선 에이전트 벤치마크 전반에서 Qwen3.8-27B와 GLM-5.3-Flash는 잔여 메모리를 통해 일관된 성능 향상을 보여줍니다. 두 모델 모두 BrowseComp 및 Terminal-Bench 2.1에서 반복되는 도구 출력과 도구 오류가 현저히 적다는 점을 보였습니다. arXiv : https://arxiv.org/abs/2610.11287 PDF : https://arxiv.org/pdf/2610.11287 GitHub : https://github.com/fudan-generative-vision/Remory HuggingFace : https://huggingface.co/collections/fudan-generative-ai/remory submitted by /u/pmttyji [link] [comments]