HyPAIC: 고성능 트릴리언-파라미터 LLM 추론을 위한 고대역폭 플래시를 탑재한 개인용 AI 컴퓨터

LLM은 단순 챗봇에서 에이전트형 AI(agentic AI)로 급속히 확장되었으며, 모델이 복잡한 문제를 해결하기 위해 도구를 직접 사용하는 방식입니다. 문제 해결 능력을 향상시키기 위해 대부분의 최첨단 LLM은 MoE 아키텍처(Mixture-of-Experts)를 채택하여 모델 크기를 트릴리언-파라미터 영역으로 밀어 올리고 있습니다. 클라우드 서비스가 대규모 LLM 추론을 지배해 왔지만, 비용 및 보안 문제로 인해 온프레미스 배포에 대한 수요가 증가하고 있습니다. 이에 GPU 제조업체들은 개인용 AI 컴퓨터(PAICs)를 도입했습니다. 그러나 LPDDR 기반 통합 메인 메모리를 사용하는 기존 PAICs는 심각한 용량 제한으로 인해 단일 장치에서 호스팅할 수 있는 LLM 크기를 제한합니다. 대부분의 메모리가 모델 가중치를 저장하게 되면, KV 캐시(KV cache)에 할당될 공간이 부족해져 지원 가능한 컨텍스트 길이가 줄어듭니다. 본 논문에서는 이러한 메모리 제약을 극복하기 위해 HBF를 통합한 PAIC 아키텍처인 HyPAIC을 제안합니다. HyPAIC은 읽기 전용 모델 가중치를 HBF에, 변경 가능한 런타임 데이터는 LPDDR에 저장합니다. HBF는 비교 가능한 TB/s급 대역폭으로 HBM보다 10배 이상의 용량을 제공합니다. HyPAIC은 각각 프리페칭(prefetching), 읽기 전용 가중치 배치, 그리고 거친 단위의 가중치 접근을 통해 HBF의 접근 지연 시간, 제한적인 쓰기 내구성, 페이지 수준 접근 세분성을 해결합니다. 다만, 전력 및 냉각 문제는 여전히 중요한 구현 과제로 남아 있습니다. 시뮬레이션 기반 평가를 통해, 단일 HyPAIC이 1T-파라미터 MoE 추론 과정에서 HBF가 없는 기준 시스템 8개 전체의 집계 성능 대비 최대 1.04배의 종단 간(end-to-end) 시스템 처리량과 최대 3.59배의 TDP 정규화된 처리량을 개선함을 보여줍니다. 따라서 하나의 HyPAIC은 훨씬 우수한 전력 효율성을 가지면서도, 기준 시스템 8개에 필적하는 원시 성능에 근접합니다. 소형 모델 추론의 경우, HyPAIC은 태스크당 최소 50 decode TPS를 유지하는 최대 동시 작업 수를 최대 4배 증가시켜 사용자 경험과 생산성을 향상시킵니다. HBF 사양이 아직 발전 중이지만, 본 연구는 HBF와 PAICs 간의 강력한 아키텍처 시너지를 입증합니다.