NVIDIA, RTX Spark 노트북용 오픈 74B 에이전트 모델 출시

NVIDIA는 NVIDIA와 Microsoft가 오는 10월 16일 금요일에 판매한다고 밝힌 RTX Spark 노트북 출시 일정에 맞춰 일련의 소프트웨어 업데이트를 발표했습니다. 이 하드웨어는 최대 128GB의 통합 메모리와 1 페타플롭(petaflop)의 AI 컴퓨팅 성능을 결합합니다. 게시물의 대부분은 게이밍 및 크리에이티브 앱에 관한 것이지만, 에이전트를 구축하는 팀들에게 중요한 몇 가지 항목들이 있습니다.

로컬 에이전트용 모델

Nemotron 3.5 Bolt 74B가 10월 15일 목요일에 출시됩니다. 이 모델은 74B 파라미터의 Mixture-of-Experts (MoE) 모델이며, 이 중 9B가 동시에 활성화됩니다. 2비트 양자화(quantization)를 통해 24GB로 압축되었습니다. NVIDIA는 이 모델을 인기 있는 밀집형(dense) 모델보다 빠르고, 비슷한 메모리 크기의 인기 MoE 모델보다 더 똑똑하다고 포지셔닝하고 있습니다. 이러한 비교는 별도의 내용이며 출처에는 벤치마크 데이터가 포함되어 있지 않습니다. 학습 데이터, 가중치 및 레시피 모두 오픈 소스이므로 팀들이 미세 조정(fine-tune)할 수 있습니다. 출시 시점에는 llama.cpp, vLLM, Ollama, Unsloth, LM Studio를 통해 실행되며, Hermes나 OpenClaw와 같은 에이전트가 이를 직접 사용할 수 있습니다.

보안 및 라우팅

RTX Spark에 설치되는 에이전트는 NVIDIA OpenShell과 Microsoft Execution Containers (MXC)의 샌드박싱(sandboxing) 기능을 제공합니다. MXC는 운영체제 수준의 보안을 제공합니다. OpenShell은 에이전트가 MXC를 채택하는 것을 용이하게 하고 자격 증명 보호 및 보안 모니터링 기능을 추가합니다. OpenClaw와 GitHub Copilot은 이미 MXC를 지원하며, Hermes Agent는 이달 말까지 세밀한 OpenShell 제어 기능과 MXC를 추가할 예정입니다.

오픈 소스 모델 라우터 라이브러리인 NVIDIA Switchyard는 에이전트가 로컬 또는 클라우드 모델 중 하나로 쿼리를 보낼 수 있게 합니다. 목표는 유사한 결과를 얻으면서도 클라우드를 덜 사용하는 것입니다. Hermes는 이 기능을 10월 후반에 추가할 예정입니다. Perplexity Computer와 GitHub Copilot은 자체적인 라우팅 시스템을 구축했습니다.

NVIDIA PAIR는 로컬 네트워크의 PC를 찾아 AI 워크로드를 여러 대에 분산시키는 무료 오픈 소스 도구이며, 현재 베타 버전을 출시했습니다. 이 도구는 모델과 추론 엔진을 설치하며, llama.cpp와 Hugging Face 다운로드를 지원하고 Windows, Linux 및 macOS에서 실행됩니다.

llama.cpp와 Unsloth가 이제 의사 결정 모델(decision models)을 지원하게 되었는데, NVIDIA에 따르면 이는 에이전트가 요청 분류 등을 통해 다음 행동을 선택할 수 있게 하여 기존 에이전트보다 최대 200배 빠릅니다. 또한 llama.cpp에는 시스템 트레이에서 실행되는 Windows 앱도 추가되어, 명령줄 없이 모델을 다운로드하고 실행할 수 있습니다.

소스에 포함되지 않은 내용

해당 게시물은 노트북 가격이나 독립적인 테스트 결과를 제공하지 않습니다. 로컬 모델 다운로드가 작년 전체 대비 5배 높다는 주장은 NVIDIA 자체의 주장입니다. 게이밍, Adobe, Blender 및 ComfyUI 관련 항목은 이 노트에서 다루는 범위를 벗어납니다.