요약

추론 과정에서 메모리를 분리하여 사용하는 사전 학습된 파라미터 기반의 장기 메모리 기술을 소개합니다. 최대 6.9B 파라미터와 300B 학습 토큰까지 확장이 가능한 구조를 가집니다.

핵심 포인트

• 추론과 메모리를 분리하는 구조
• 사전 학습된 파라미터 기반의 장기 메모리 구현
• 최대 6.9B 파라미터 규모로 확장 가능
• 300B 학습 토큰을 통한 대규모 학습 지원