대규모 언어 모델 (LLM) 서빙의 에너지 소비는 하드웨어 전력 및 열 제약, 그리고 상승하는 전기 요금으로 인해 배포 규모가 확장됨에 따라 주요한 시스템 과제가 되고 있습니다. 칩 에너지 소모의 핵심 원인은 제한된 온칩 캐시 (on-chip cache)와 오프칩 고대역폭 메모리 (HBM, High Bandwidth Memory) 사이의 데이터 이동입니다. 한편, 로직 칩의 후공정 (BEOL, Back-End-Of-Line) 단계에서 캐시 메모리를 단일 칩 3D (M3D, monolithic 3D) 방식으로 통합하는 것과 같은 차세대 메모리 기술은 더 크고 밀도 높은 온칩 메모리를 가능하게 하여, 비용이 많이 드는 오프칩 트래픽을 줄일 수 있는 새로운 기회를 창출합니다. 그러나 차세대 기술을 사용하여 온칩 메모리를 지속적으로 확장하는 것이 LLM 서빙의 에너지 효율을 효과적으로 개선할 수 있는지 여부는 여전히 불분명합니다. 이러한 격차를 해소하기 위해, 우리는 검증된 교차 계층 시뮬레이션 프레임워크인 LLMET (LLM with Emerging Technology)를 개발하였으며, 광범위한 모델, 애플리케이션 및 플랫폼에 걸쳐 대용량 온칩 메모리 기술의 영향에 대한 종합적인 연구를 수행했습니다. 듀얼 NVIDIA A100 GPU 설정에서의 LLMET 시뮬레이션 결과, M3D 기술을 사용하여 L2 캐시를 40MB에서 1GB로 확장하면 16K 컨텍스트 윈도우(context window)를 가진 Llama3.1-70B 프리필 (prefill) 단계 동안 칩 에너지가 44% 감소하는 것으로 나타났습니다. 8x NVIDIA B200 유사 플랫폼에서는 L2 캐시를 128MB에서 4GB로 확장할 때 프리필 에너지를 최대 24%까지 절감할 수 있습니다. 엣지 (edge) 플랫폼 및 워크로드의 경우, 8MB 캐시 크기를 256MB로 늘릴 때 디코드 (decode) 에너지 절감률은 30%에 달합니다. 이러한 결과는 에너지 효율적인 LLM 서빙 시스템을 위한 초거대 온칩 메모리의 가능성을 강조합니다.