NVLLM: 에지 온-디바이스 LLM 추론을 가능하게 하는 3D NAND 중심 아키텍처

요약

NVLLM은 에지 디바이스에서 대규모 언어 모델(LLM)의 추론을 가능하게 하는 혁신적인 3D NAND 중심 아키텍처입니다. 이 아키텍처는 FFN 계산을 플래시 메모리로 오프로드하고 어텐션 메커니즘을 경량 CMOS 로직으로 처리하며, 외부 DRAM 의 의존성을 최소화합니다. 웨이퍼 투 웨이퍼 스태킹 기술을 활용하여 3D NAND를 컴퓨트 파이프라인과 통합함으로써 페이지 레벨의 FFN 가중치 액세스를 구현하고, 기존 GPU 기반 또는 SSD 기반 시스템 대비 월등한 성능 향상을 달성했습니다.

핵심 포인트

• NVLLM은 에지 디바이스에서 LLM 추론을 위한 3D NAND 중심 아키텍처를 제시합니다.
• FFN 계산을 플래시 메모리로 오프로드하고 어텐션 연산을 CMOS 로직으로 처리하여 DRAM 의존성을 줄였습니다.
• 웨이퍼 스태킹 기술로 3D NAND와 컴퓨팅 유닛을 통합하여 페이지 레벨의 가중치 액세스를 구현했습니다.
• 최대 30B 파라미터 모델에서 A800 기반 아웃 오브 코어 추론 대비 최대 37.9배, SSD 대비 최대 4.7배의 속도 향상을 입증했습니다.