Soft Memory가 Context Length를 확장하고 4배의 속도 향상을 제공합니다

MemFold의 고정 예산 소프트 메모리(soft memory)는 모델이 실제로 사용할 수 있는 사용자 기록 양을 두 배로 늘리는 동시에 추론 오버헤드를 극적으로 줄입니다. 핵심은 임의로 긴 대화 내용을 소수의 잠재 벡터(latent vectors)로 압축하여, 마치 일반 토큰인 것처럼 읽는 사람이 소비하게 만드는 것입니다. 따라서 모델은 전체 원본 스크립트를 처리할 필요가 없습니다.

이전에는 컨텍스트를 확장한다는 것이 점점 더 길어지는 토큰 스트림을 공급하거나—이는 GPU 메모리를 빠르게 고갈시킵니다—프롬프트 전반에 검색 호출(retrieval calls)을 뿌리는 방식 중 하나였습니다. 후자는 지연 시간(latency)을 추가하고 종종 다운스트림 추론(downstream reasoning)에 악영향을 미칩니다. 이 두 가지 접근 방식 모두 메모리를 학습 가능한 인터페이스로 취급하지 못하며, 단지 기록 길이에 선형적으로 비례하는 엔지니어링 해킹일 뿐입니다.

MemFold의 소프트 메모리는 진정으로 크기 불가지론적(size-agnostic)입니다: “그 크기는 [빈칸]의 길이에 의존하지 않으며, 읽는 사람이 그것을 읽을 수 있습니다.” K = 256개의 연속 벡터를 고정함으로써, 이 시스템은 모델의 입력 흔적(input footprint)을 증가시키지 않으면서 32K에서 128K 토큰까지 원본 기록 슬라이딩이 가능합니다 [].

정확도 측면에서도 이 방법은 “모든 벤치마크와 백본(backbone)에서 최고 정확도를 달성했으며, PrefEval의 한 셀에서 가장 강력한 기준선과 동률을 기록했습니다.” 이는 컨텍스트가 증가하더라도 압축된 표현이 작업 성능을 희생하지 않음을 보여줍니다 [].

추론 비용도 감소합니다: 저자들은 “평균적인 종단 간(end-to-end) 비용이 전체 컨텍스트 추론과 비슷하게 유지되며, 세 가지 백본 모두에서 종합적으로 더 낮다”고 보고했습니다. 이는 추가된 메모리 모듈이 무시할 수 있는 런타임만 추가하면서 전반적으로 더 빠른 예측을 제공한다는 것을 의미합니다 [].

본 논문은 몇 가지 질문을 남겨둡니다. soft-memory 예산은 256 벡터로 고정되어 있어, 이를 초과하여 확장하려면 단순한 외삽(extrapolation)보다는 재설계가 필요할 수 있습니다. On-policy 최적화와 confidence-gated distillation은 효과적이지만, 동결된 교사 모델(frozen teacher model)을 사용하는 추가적인 훈련 단계를 도입하므로 대규모 컴퓨팅 자원이 부족한 팀에게는 번거로울 수 있습니다. 주요 벤치마크가 페르소나 기반임에도 불구하고, 저자들은 타겟 도메인 훈련 없이 PrefEval과 LongMemEval로의 전이(transfer)를 또한 시연하여, 개방형 생성이나 코드 완성 같은 다른 도메인에 잠재적으로 적용 가능함을 시사합니다.

만약 이러한 결과가 더 많은 도메인에서 유지된다면, 사용자 기록을 무분별하게 연결하는 표준 관행은 포기되어야 합니다. 긴 컨텍스트를 테스트하는 벤치마크(PersonaMem-128K, PrefEval, LongMemEval)는 이제 PersonaMem-128K에서 더 높은 정확도를 달성하고 전반적으로 낮은 비용을 유지하며 강력한 기준선(baseline)을 갖추게 되었고, PrefEval에서도 가장 강력한 기준선을 확보했습니다. 프로덕션 어시스턴트는 더 큰 GPU를 구매하지 않고도 MemFold의 256 벡터 브리지를 채택하여 사용 가능한 컨텍스트를 두 배로 늘릴 수 있습니다.

참고문헌

1. MemFold: On-Policy 최적화를 통한 장기 컨텍스트 개인화용 압축 soft memory 학습