GPU 커널의 세밀한 메모리 재사용 구조 재구성

요약

본 기술은 GPU 데이터 이동 최적화를 위해 메모리 재사용 구조를 분석하는 새로운 방법을 제시합니다. 기존 프로파일러의 한계를 극복하고자, 논리적 실행 범위 기반의 두 가지 추상화(Topological Distance 및 PCDepGraph)를 도입했습니다. 이를 구현한 도구 cuVein은 HPC/AI 워크로드에서 메모리 명령어 제거와 커널 속도 향상을 입증했습니다.

핵심 포인트

• 기존 프로파일러는 별칭, 동적 인덱싱 등으로 재사용 관계 파악에 한계가 있습니다.
• Topological Distance와 PCDepGraph를 통해 논리적 실행 범위 기반의 메모리 구조를 표현합니다.
• 이 구조는 하드웨어 상태가 아닌 프로그램 구조를 포착하여 안정적인 최적화 공유 범위를 제공합니다.
• cuVein 도구 사용 시 최대 90.18% 명령어 제거 및 2.84배 커널 속도 향상을 달성했습니다.