로컬 대형 언어 모델 (LLM) 추론의 운영 지형은 경량 모델에서 데이터센터급 70B 파라미터 이상의 가중치로 전환하여 소비자 하드웨어에 심각한 시스템 과제를 제기했습니다. 본 논문은 Nvidia 와 Apple Silicon 생태계에 대한 체계적 실증 분석을 제시하며, 이러한 거대 모델을 배포하기 위해 필요한 고유한 아키텍처 내 트레이드오프를 특성화합니다.

Nvidia Blackwell 아키텍처에서는 TensorRT-LLM 스택 내에서 중요한 '백엔드 이분법'을 식별했습니다: 새로운 NVFP4 양자화 형식은 최적화된 BF16 기준 대비 1.6 배의 처리량 우위를 제공하지만 (151 tokens/s vs. 92 tokens/s), 이러한 성능을 실현하기 위해서는 스타트업 지연 시간을 생성 속도와 교환하는 복잡한 런타임 제약 조건을 극복해야 합니다.

또한, 우리는 70B+ 모델에 대한 'VRAM 벽'을 특성화합니다: 이산형 GPU 사용자는 VRAM 에 맞도록 모델 지능을 저하시키는 공격적 양자화 (예: Q2) 와 PCIe 병목 현상을 겪는 CPU 오프로딩 사이에서 파괴적인 선택을 해야 하며, 이는 전체 GPU 실행 대비 처리량을 90% 이상 감소시킵니다.

반면, Apple 의 Unified Memory Architecture (UMA) 는 이러한 병목 현물을 우회하여 실제 4 비트 정밀도에서 80B 파라미터 모델을 선형적으로 확장할 수 있게 합니다. 이 아키텍처의 분화는 운영 지속 가능성까지 확대되며, Apple 의 SoC 설계는 토큰/줄당 에너지 효율성 측면에서 최대 23 배의 우위를 보여줍니다.

우리는 소비자용 추론을 위한 최적 하드웨어가 컴퓨팅 밀도 (Nvidia) 와 메모리 용량 (Apple) 사이의 복잡한 상호작용으로 정의되며, 이는 독점 양자화 워크플로우의 중요한 '생태계 마찰'에 의해 조절된다고 결론지었습니다.