Nemotron 3.5 Bolt는 소규모 다중 사용자 환경에 괜찮은 모델입니다

원문 발행 2026. 10. 19. 11:48원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

Nemotron 3.5 Bolt 모델에 대한 분석으로, 소규모 다중 사용자 환경에 적합한 효율적인 대안임을 제시합니다. 이 모델은 양자화 및 어텐션 구조 최적화를 통해 뛰어난 KV 캐시 효율성과 긴 컨텍스트 처리가 가능하며, 빠른 추론 속도를 보여줍니다.

핵심 포인트

Nemotron 3.5 Bolt는 소규모 다중 사용자 환경에 적합한 고효율 모델입니다.
2비트 양자화 및 최적화된 어텐션 구조로 뛰어난 KV 캐시 효율성을 자랑합니다.
긴 컨텍스트(Context) 처리 능력이 뛰어나며, 빠른 추론 속도를 제공합니다.
환각 현상 방지 측면에서 일부 최고 모델보다 우수한 성능을 보입니다.

https://preview.redd.it/0tljsfsl7cwh1.png?width=349&format=png&auto=webp&s=4428c2ab4743ce471d2862eef502ffa38381c8d3 저는 Nemotron Ultra가 잘 처리하던 워크로드를 위해 27B보다 빠른 모델을 찾아보고 있었습니다. Ultra는 출시된 이후로는 다소 실망스러웠는데, 더 좋은 작은 모델들이 나왔기 때문입니다. 하지만 OpenRouter에서 무료로 제공되었기 때문에 작동한다면 사용하지 않을 이유가 없었습니다. Bolt 역시 언뜻 보기에는 무시해도 될 또 다른 모델처럼 보였습니다. 양자화(quantization) 면에서는 인상적인 부분이 있지만, 27B나 Flash Next에 비하면 특별할 것이 없습니다. 하지만 이 모델은 제 128 GB 환경(4x MI100)에 딱 맞는 크기였고, Sparks를 위해 설계되었기 때문에 살펴보게 되었습니다.

Bolt에 대한 몇 가지 흥미로운 사실들이 있습니다: 디코더는 2비트 양자화(quantized)가 되어 있고, 다른 더 민감한 부분은 기본 모델에서 NVFP4를 사용합니다. 이 모델에는 다른 양자화 방식도 있지만, 그것들은 대부분의 가중치(weights)에 해당합니다. 이는 선형 어텐션(linear attention) 5개 레이어마다 전체 어텐션(full attention, GQA) 1개의 레이어를 갖는 구조로, 전층이 선형인 Qwen3가 1개 레이어당 4개 레이어를 갖는 것보다 비율이 낮습니다. Bolt의 어텐션은 Qwen3보다 훨씬 적게 넓어서, 30k 컨텍스트(context) 길이는 Flash Next의 500 MB나 27B의 952 MB에 비해 단지 200 MB에 불과합니다. 256k 컨텍스트는 Bolt에서 1 GB인 반면, FN에서는 3.4 GB, 27B에서는 8.5 GB입니다. 새로운 Nemotron Super도 어텐션이 동일하여 수치 또한 같습니다.

제가 보기에는 이 새로운 Nemotrons가 DS v4.1 Flash를 제외하고는 가장 효율적인 KV 캐시(KV cache)를 가진 신규 모델들인 것 같습니다. 이는 기본적으로 추가적인 사후 학습(post training)을 거친 REAP-ed Nemotron 3.5 Super와 같습니다. 지능 자체는 오늘날의 기준으로는 뛰어나지 않지만, Qwen3.6 27B와 비슷한 수준이므로 나쁘지 않습니다. 비교적 강점을 보이는 부분은 환각 현상(hallucination) 방지율인데, 일부 최고 모델들보다 더 좋습니다. 제 테스트에 따르면, 이는 여러 차례의 대화가 오가는 동안 생각이 산만해지는 경향을 보이며, 해결책을 시도하고 철저하게 테스트하기 전에 많은 진단 및 확인 과정을 거칩니다.

https://preview.redd.it/1od8gwpw1cwh1.png?width=573&format=png&auto=webp&s=6ca23fce924f8e89bb2c53b4f7fafe4cceb1405b 지금까지는 상당히 빠릅니다. 제 하드웨어에서 27B 모델의 약 두 배 정도 속도입니다. 모델 대부분이 그저 적당한 수준이지만, 뛰어난 점은 많은 양의 컨텍스트(context)를 메모리에 담을 수 있고, 또한 큰 프리픽스 캐시(prefix cache)도 가능하다는 것입니다. 이는 Bolt가 소규모 다중 사용자 시나리오, 예를 들어 작은 사업체에 적합하다는 것을 의미합니다. 메모리에 백만 개의 컨텍스트 토큰을 현실적으로 담을 수 있으며, 단일 5090 (네이티브 NVFP4 및 32GB 메모리 탑재) 또는 128GB SFF 중 하나가 이 모델의 이상적인 하드웨어일 것입니다. 흥미로운 모델이며, 저와 같은 모델들이 더 많이 출시되기를 바랍니다. 70B 모델이 다시 등장하기까지 정말 오랜 시간이었습니다. 계속 테스트해 볼 것이지만, 지금까지는 괜찮은 것 같고 추천합니다. /u/1ncehost 제출 [링크] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기