128GB 통합 메모리가 로컬 AI 개발에 가져올 변화

어제 Computex에서 NVIDIA는 Arm CPU와 Blackwell GPU가 결합되고 최대 128GB의 통합 LPDDR5X 메모리를 탑재한 RTX Spark 슈퍼칩을 발표했습니다. 대부분의 보도는 Arm 칩이나 "에이전틱 OS (agentic OS)" 브랜딩에 집중하고 있습니다. 하지만 개발자들에게 진짜 중요한 이야기는 바로 메모리입니다.

방금 제거된 제약 사항

로컬 모델을 실행해 본 적이 있다면 그 병목 현상을 알고 있을 것입니다. RTX 4090은 24GB의 VRAM을 가지고 있습니다. 이는 다른 것 없이 8비트(8-bit)의 13B 파라미터 모델이나 4비트(4-bit)의 30B 모델을 겨우 수용할 수 있는 수준입니다. 임베딩 모델(embedding model)도, 벡터 데이터베이스(vector database)도, GPU 메모리 내의 애플리케이션 자체를 위한 공간도 없습니다.

# 24GB VRAM 사용 시 (RTX 4090):
# - Q4_K_M 방식의 30B 모델: ~20GB
# - 4096 컨텍스트를 위한 KV 캐시 (KV cache): ~2GB  
...

128GB 통합 메모리는 CPU와 GPU가 하나의 풀(pool)을 공유하기 때문에 이 상황을 변화시킵니다. 모델을 위한 VRAM과 그 외 모든 것을 위한 시스템 RAM 사이에서 선택할 필요가 없습니다. GPU가 128GB 전체에 직접 접근할 수 있기 때문입니다.

참고로, FP4 (4-bit) 방식의 70B 파라미터 모델은 양자화 오버헤드(quantization overhead)와 KV 캐시를 포함하여 실제로는 약 40-45GB가 필요합니다. 그러면 나머지 스택을 위해 약 83GB가 남습니다.

이제 실제로 무엇을 구축할 수 있는가

128GB를 통해 불가능했던 작업이 간단해지는 구체적인 워크플로우는 다음과 같습니다.

70B 모델을 사용한 로컬 RAG 파이프라인 실행:

# 이제 한 대의 머신에 들어갈 수 있는 구성 요소:
# 1. FP4 방식의 70B LLM: ~42GB
# 2. 임베딩 모델 (예: bge-large-en-v1.5): ~1.5GB  
...

또는 세 개의 특화된 모델을 동시에 실행하는 멀티 에이전트(multi-agent) 설정도 가능합니다.

# 한 대의 머신에서 수행하는 멀티 모델 오케스트레이션 (Multi-model orchestration):
# - FP4 방식의 70B 오케스트레이터 모델: ~42GB
# - Q4_K_M 방식의 30B 코드 전문가 모델: ~20GB  
...

이는 이론적인 이야기가 아닙니다. RTX Spark는 Windows on Arm에서 작동하며, NVIDIA의 NemoClaw 에이전트 프레임워크는 이미 이를 지원합니다. 소프트웨어 스택(llama.cpp, Ollama, NVIDIA 자체 AI Enterprise 제품군)은 NVLink C2C 아키텍처를 지원합니다.

메모리 대역폭 문제

300 GB/s 속도의 128GB LPDDR5X는 주목할 만한 사양입니다. 다음 수치들과 비교해 보십시오:

• RTX 4090: 24GB GDDR6X, 1,008 GB/s
• Mac M5 Max: 128GB 통합 메모리, 약 800 GB/s
• RTX Spark: 128GB LPDDR5X, 300 GB/s

RTX Spark는 용량은 5배 더 크지만, 대역폭(Bandwidth)은 4090의 약 3분의 1 수준입니다. 이는 다음과 같은 의미를 갖습니다. 배치 추론 (Batch inference) 및 처리량 중심 (Throughput-oriented) 워크로드는 4090보다 느릴 것입니다. 하지만 모델 로딩, 모델 간 컨텍스트 스위칭 (Context switching)

만약 당신의 작업이 로컬에서 30B(300억) 파라미터 이상의 모델을 다루는 것이라면, 이것이 바로 중요한 사양입니다. 클럭 속도, 코어 수, TOPS(Tera Operations Per Second) 등급을 포함한 다른 모든 요소는 당신의 워킹 셋(Working set)이 메모리에 들어가는지 여부보다 부차적입니다.

Computex 2026에서의 NVIDIA RTX Spark 발표. Tom's Hardware에서 전체 사양 분석 내용을 여기에서 확인할 수 있습니다.