대규모 엔드투엔드 컨텍스트 압축

요약

LCLMs는 긴 컨텍스트를 잠재 임베딩으로 압축하는 인코더-디코더 소프트 토큰 컴프레서입니다. 이를 통해 손실률이 거의 없는 높은 정확도로 최대 8.8배의 속도 향상을 달성할 수 있습니다.

핵심 포인트

• LCLMs는 긴 컨텍스트를 잠재 임베딩으로 압축합니다.
• 인코더-디코더 소프트 토큰 컴프레서 구조입니다.
• 손실률이 거의 없는 높은 정확도를 유지합니다.
• 최대 8.8배의 속도 향상을 가능하게 합니다.