thinkingmachines의 Inkling-Small
요약
thinkingmachines에서 발표한 Inkling-Small 모델에 대한 소개입니다. 총 276B 파라미터를 보유하고 있으나 활성 파라미터는 12B이며, 1M의 대규모 컨텍스트 윈도우를 지원합니다.
핵심 포인트
- 총 276B 파라미터 및 12B 활성 파라미터 구조
- 1M(100만) 토큰의 대규모 컨텍스트 윈도우 지원
- NVFP4 및 Unsloth GGUF 버전 제공
총 276B 파라미터, 12B 활성(active) 파라미터, 1M 컨텍스트 윈도우(context window). 블로그 포스트: https://thinkingmachines.ai/news/inkling-small/ NVFP4: https://huggingface.co/thinkingmachines/Inkling-Small-NVFP4 Unsloth의 GGUF 버전: https://huggingface.co/unsloth/Inkling-Small-GGUF /u/rerri에 의해 제출됨 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0