LongCat-Flash-Lite-Sparse 다운로드 가능
요약
LongCat-Flash-Lite-Sparse 모델의 가중치가 공개되었습니다. 이 모델은 LongCat Sparse Attention(LSA)을 도입하여 최대 1M 토큰의 컨텍스트 길이를 네이티브로 지원합니다.
핵심 포인트
- LongCat-Flash-Lite-Sparse 모델 가중치 공개
- 밀집 MLA를 LongCat Sparse Attention(LSA)으로 교체
- 최대 1M 토큰의 확장된 컨텍스트 길이 지원
가중치(weights)가 한 시간 전에 저장소(repo)에 추가되었습니다. 이 모델은 LongCat-Flash-Lite를 기반으로 구축되었으며, LongCat-Flash-Lite-Sparse의 차이점은 다음과 같습니다: 밀집 MLA (dense MLA)를 LongCat Sparse Attention (LSA)로 교체하였으며, (LongCat-Flash-Lite의 256k 대비) 최대 1M 토큰의 컨텍스트 길이 (context lengths)를 네이티브로 지원합니다. /u/LLMFan46 님이 제출함 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0