Silicon Showdown: Performance, Efficiency, and Ecosystem Barriers in

로컬 대형 언어 모델 (LLM) 추론의 운영 지형은 경량 모델에서 데이터센터급 70B 파라미터 이상의 가중치로 전환하여 소비자 하드웨어에 심각한 시스템 문제를 야기했습니다. 이 논문은 Nvidia 와 Apple Silicon 생태계를 체계적으로 분석하며, 이러한 거대 모델을 배포하기 위해 필요한 고유한 아키텍처 내 트레이드오프를 특징화합니다. Nvidia Blackwell 아키텍처에서는 TensorRT-LLM 스택 내에서 중요한 '백엔드 이분법'을 식별했습니다: 새로운 NVFP4 양자화 형식은 최적화된 BF16 기준 대비 1.6 배의 처리량 우위를 제공하지만 (151 토큰/초 vs. 92 토큰/초), 이를 실현하기 위해서는 생성 속도를 스타트업 지연과 교환하는 복잡한 런타임 제약 조건을 극복해야 합니다. 또한, 우리는 70B+ 모델의 'VRAM 벽' 을 특징화했습니다: 이산형 GPU 사용자는 VRAM 에 맞도록 모델 지능을 저하시키는 공격적인 양자화 (예: Q2) 와 PCIe 병목 현상을 겪는 CPU 오프로딩 사이에서 파괴적인 선택을 해야 합니다. 이는 전체 GPU 실행 대비 처리량을 90% 이상 감소시킵니다. 반면, Apple 의 통합 메모리 아키텍처 (UMA) 는 이러한 병목 현물을 우회하여 실용적인 4 비트 정밀도로 80B 파라미터 모델을 선형적으로 확장할 수 있게 합니다. 이 아키텍처의 분화는 운영 지속 가능성까지 확장되며, Apple 의 SoC 설계는 토큰/줄당 에너지 효율에서 최대 23 배의 우위를 보여줍니다. 우리는 소비자급 추론을 위해 최적 하드웨어가 컴퓨팅 밀도 (Nvidia) 와 메모리 용량 (Apple) 사이의 복잡한 상호작용에 의해 정의되며, 고유 양자화 워크플로우의 중요한 '생태계 마찰'에 의해 조절된다고 결론지었습니다.