nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 · Hugging Face

총 파라미터 4B 아키텍처 루프형 (latent-recurrent) interleaved sliding-window attention (SWA) 및 full-attention 레이어를 갖춘 normalized-GPT 정밀도 BF16 컨텍스트 길이 최대 256K 토큰 지원 언어 영어 최적 용도 작은 크기로 범용 추론 라이선스 OpenMDW License Agreement, version 1.1 출시일 2026년 10월 16일 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16은 NVIDIA가 학습시킨 루프형 (latent-recurrent) 거대 언어 모델(LLM)입니다. 이 모델은 interleaved 하이브리드 sliding window attention (SWA) 및 full attention 레이어를 갖춘 normalized-GPT 아키텍처를 사용합니다. 공유된 레이어 블록을 반복적으로 적용함으로써, Dory1.0-4B는 토큰당 더 많은 컴퓨팅 자원을 사용할 수 있어 지능을 확장할 수 있습니다. 이 모델은 상업적 또는 비상업적 용도로 사용할 준비가 되어 있습니다. /u/silenceimpaired 제출 [링크] [댓글]