대규모 언어 모델 (LLM) 추론은 GPU 고대역폭 메모리 (HBM)의 용량과 대역폭에 의해 병목 현상이 발생합니다. High-Bandwidth Flash (HBF) 및 RoMe와 같은 최근의 제안들은 HBM보다 더 높은 용량이나 대역폭을 제공하지만, 최소 수 킬로바이트 (kilobytes) 단위의 액세스 입도 (access granularity)를 요구합니다. 본 논문에서는 이러한 대규모 입도 메모리 시스템 (Large-Granularity Memory Systems, LGMS)이 LLM 추론의 지배적인 연산인 타일형 행렬 곱셈 (tiled matrix-multiplication)의 성능을 최대 10배까지 저하시킬 수 있음을 보여줍니다. 이러한 속도 저하의 근본 원인은 읽기 증폭 (read amplification)으로, 메모리 요청이 타일이 실제로 필요로 하는 것보다 훨씬 더 많은 데이터를 가져오기 때문입니다. 이러한 낭비는 연산 타일의 2차원적 특성과 1차원적 메모리 레이아웃 사이의 근본적인 불일치에서 비롯되며, 이로 인해 각 요청이 타일 경계를 훨씬 벗어나게 됩니다. 읽기 증폭을 완화하기 위해, 우리는 LGMS를 위한 타일 중심 레이아웃 (tile-major layout) 사용을 제안합니다. 데이터를 1차원 스트립 (strip)으로 저장하는 대신, 타일 중심 레이아웃은 각 연속적인 메모리 블록을 2차원 직사각형으로 재구성하여 메모리 입도를 타일 경계와 일치시킵니다. GPU에서 타일 중심 레이아웃의 채택을 용이하게 하기 위해, 우리는 주요 GPU 커널 클래스를 통합적으로 다루는 경량 소프트웨어 및 하드웨어 확장인 TileLens를 제안합니다. TileLens-SW는 GPU DSL (Domain-Specific Languages)을 확장하여, DSL 기반 커널이 레이아웃 디스크립터 (layout descriptor)만 변경함으로써 글로벌 메모리에서 타일 중심 방식을 채택할 수 있도록 합니다. TileLens-HW는 코드 변경 없이 TMA 기반 커널에서 투명한 타일 중심 지원을 제공하도록 Tensor Memory Accelerator (TMA)를 확장합니다. 우리는 Qwen-3 30B 및 Llama-3.1 70B의 행렬 곱셈 커널을 사용하여 사이클 수준 시뮬레이터에서 TileLens를 평가합니다. 타일 중심 레이아웃을 적응형 하드웨어 프리페처 (adaptive hardware prefetcher)와 결합함으로써, TileLens는 5us의 HBF NAND 읽기 지연 시간을 가진 HBF 증강 GPU에서 HBM에 근접한 성능을 달성하며, 기하 평균 속도 저하를 기존 레이아웃의 1.61-6.49배에서 HBM 전용 베이스라인의 1% 이내로 줄입니다.