Granite 4.0 Nano: 얼마나 작게 줄일 수 있는가?

오늘 우리는 IBM 의 Granite 4.0 모델 가족의 일부로 출시된 우리迄今为止 가장 작은 모델인 Granite 4.0 Nano 를 공유하게 되어 매우 기쁩니다. 이 모델들은 엣지 (edge) 와 온-디바이스 (on-device) 애플리케이션을 위해 설계되었으며, 그 크기에 대해 우수한 성능을 보여주며 수백 조 개의 파라미터가 필요하지 않아도 작업을 수행할 수 있는 강력한 모델을 개발하는 IBM 의 지속적인 헌신을 나타냅니다.

Granite 4.0 모델의 모든 모델과 마찬가지로, Nano 모델은 vLLM, llama.cpp, MLX 와 같은 인기 있는 런타임에서 네이티브 아키텍처 지원을 포함하여 Apache 2.0 라이선스 하에 출시됩니다. 이 모델들은 원래 Granite 4.0 모델 개발을 위해 개발된 개선된 훈련 방법론, 파이프라인 및 15T 토큰 이상의 훈련 데이터를 사용하여 훈련되었습니다. 이 릴리스에는 Granite 4.0 의 새로운 효율적인 하이브리드 아키텍처를受益于한 변형이 포함되어 있으며, Granite 언어 모델의 모든 모델과 마찬가지로 Granite 4.0 Nano 모델도 IBM 의 책임 있는 모델 개발을 위한 ISO 42001 인증을 포함하고 있어, 모델이 글로벌 표준에 따라 구축되고 관리됨을 사용자에게 추가적인 신뢰감을 줍니다.

구체적으로, Granite 4.0 Nano 는 다음 4 개의 instruct 모델과 그 기본 모델의 대응물이 포함되어 있습니다:

Granite 4.0 H 1B– ~1.5B 파라미터를 가진 하이브리드-SSM 기반 아키텍처를 특징으로 하는 밀도 (dense) LLM.
Granite 4.0 H 350M– ~350M 파라미터를 가진 하이브리드-SSM 기반 아키텍처를 특징으로 하는 밀도 (dense) LLM.
Granite 4.0 1B 와 Granite 4.0 350M– 1B 및 350M Nano 모델의 대안적인 전통적 트랜스포머 버전으로, 하이브리드 아키텍처가 아직 최적화된 지원을 제공하지 않는 워크로드 (예: Llama.cpp) 를 가능하게하도록 설계되었습니다.

십억 파라미터 미만에서 ~10 억 파라미터 모델을 구축하는 것은 활발하고 경쟁력 있는 공간이며, Alibaba (Qwen), LiquidAI (LFM), Google (Gemma) 및 기타 모델 개발자들에 의해 최근 성능과 아키텍처 측면에서 많은 발전이 이루어졌습니다. 이러한 다른 모델들과 비교했을 때, Granite 4.0 Nano 모델은 최소한의 파라미터 발자국으로 달성할 수 있는 능력의 유의미한 증가를 보여주며, 이는 일반 지식 (General Knowledge), 수학 (Math), 코드 (Code), 안전성 (Safety) 도메인 전반에 걸친 일련의 일반적인 벤치마크로 측정됩니다.

차트 1. 지식, 수학, 코드, 안전성 벤치마크에서의 0.2B–2B 파라미터 모델의 평균 정확도. 자세한 내용은 부록 I 를 참조하십시오.

일반적인 벤치마크 외에도, Granite Nano 모델은 에이전트 워크플로우에 중요한 작업을 수행하는 데 있어 유사한 크기의 여러 모델을 능가했으며, 이는 IFEval 및 Berkeley 의 Function Calling Leaderboard v3 (BFCLv3) 벤치마크로 측정된 지시 사항 따름 (instruction following) 및 도구 호출 (tool calling) 을 포함합니다.

차트 2. IFEval 및 BFCLv3 벤치마크의 정확도.
Granite 4.0 Nano 의 자세한 내용은 Hugging Face 모델 카드에서 찾을 수 있습니다. 앞으로는 Granite 4.0 가족을 계속 성장시키고 개발자들에게 더 효율적이고 효과적인 AI 도구를 만들기 위해 노력함에 따라 IBM 에서 더 많은 릴리스를 기대할 수 있습니다."} /no_think}