Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Granite Switch 4.1 모델은 단일 엔드포인트에서 채팅, 일반/전문 의사결정, 음성 인식(ASR) 기능을 통합 제공합니다. 이는 여러 전문 어댑터와 ASR 인코더를 결합하여 GPU VRAM 효율성을 높이고, KV 캐시 재사용을 통해 빠른 전환 속도를 구현한 것이 특징입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Hugging Face Blog의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Granite Switch 4.1 모델은 Decision adapter와 OpenASR 리더보드에서 가장 빠른 ASR(Automatic Speech Recognition) 모델을 탑재하여, 자연어 응답, 일반 및 전문적인 의사결정, 그리고 음성-텍스트 작업 간에 효율적으로 전환할 수 있습니다—모든 것이 단일 호스팅 엔드포인트에서 가능합니다.
구체적으로, Granite-Switch-4.1-8B와 -30B 모델은 다음을 포함하도록 구성되었습니다:
이 세 가지 기술(기반 모델과 함께)은 하나의 모델로 구성되며, GPU의 VRAM을 기본 모델 단독으로 사용할 때와 거의 같은 양만 차지합니다. 이는 더 적은 GPU로 더 많은 기능을 구현할 수 있다는 의미입니다.
그리고 Switch adapter가 캐시 효율적인 Activated LoRA로 구축되었기 때문에, 기반 모델 생성에서 생성된 KV cache는 모든 후속 어댑터 기반 의사결정에 재사용될 수 있습니다. 여기에 저희 팀의 최근 vLLM 기여(저랭크 어댑터 추론 속도 향상)와 함께 위치한 ASR 인코더가 결합되어, Granite Switch 4.1 모델은 채팅 요청과 의사결정 요청, 그리고 음성 요청 사이를 매우 빠른 속도로 전환할 수 있습니다.
granite-switch-4.1-8b가 오디오를 녹취하고, 요약본을 생성하며, 유해 콘텐츠를 검열하고, 15개의 다른 사용자 정의 플래그를 테스트하는 모든 작업을 단일 엔드포인트에서 실시간으로 실행하는 Speech-to-Decisions HF 공간을 확인해 보세요.
의사결정 모델은 새로운 것이 아닙니다. 저희가 이전에 출시한 Granite Libraries는 특화된 “의사결정 모델” 어댑터와 기타 전문 작업 어댑터들의 저장소를 제공하며, 이를 조합하여 맞춤형 Granite Switch 모델을 만들 수 있습니다. 그리고 Jev나 다른 폐쇄형 의사결정 모델들이 일반성에 초점을 맞추는 반면, 저희는 많은 특화된 granitelib 어댑터들이 특정 분류 작업에서 범용 모델보다 더 나은 성능을 보인다는 것을 발견했습니다.
특화된 분류 작업을 평가할 때 granitelib 어댑터와 범용 의사결정 모델을 비교해 보세요.
어댑터들은 기본 모델의 KV 캐시를 공유하기 때문에, 일반적인 의사결정 어댑터 옆에 전문 어댑터를 추가하는 비용은 거의 들지 않습니다. 사용자는 일반적인 모델로부터 광범위한 커버리지를 얻고, 자신이 중요하게 생각하는 작업에서는 전문 어댑터로부터 더 높은 정확도를 얻을 수 있습니다.
Granite-Switch-4.1-30B (고정된 기본 Granite + 4개의 특화된 aLoRA)와 Jev-27B (고정된 기본 Qwen 모델 + 1개의 일반 의사결정 LoRA) 간의 “경주”에서, Granite-Switch-4.1-30B는 경쟁자보다 훨씬 빠르게 실제 세계의 5단계 RAG 워크플로우를 완료할 수 있었습니다.
Granite-Switch-4.1-8B와 -30B는
Jev와 유사하게, 저희의 맞춤형 3B 파라미터 Granite Switch 모델은 Doom 게임을 탐색하기 위해 순식간에 결정을 내릴 수 있었지만, Jev가 보고한 초당 10개 결정과 비교하여 초당 60~100개의 결정을 할 수 있었습니다.
Jev와 달리, 이 Granite Switch 모델은 플레이하는 동안에도 질문을 이야기하고 답변할 수 있습니다.
각주
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev