공유 DRAM을 활용한 하이브리드 GPU 및 메모리 근접 처리 아키텍처를 통한 효율적인 Prefill-Decode 분리

요약

본 논문은 LLM 추론 과정에서 발생하는 컴퓨팅 바운드(prefill)와 메모리 바운드(decoding) 간의 자원 불일치 문제를 해결하기 위한 하이브리드 아키텍처 DuoPD를 제안합니다. DuoPD는 HBM 로직 다이에 PNM 유닛을 통합하여 공유 인터페이스를 통해 전체 decoding 작업을 수행함으로써, 두 단계가 최소한의 간섭으로 동시에 실행되도록 합니다.

핵심 포인트

• HBM에 PNM 유닛을 통합한 하이브리드 아키텍처 DuoPD 제안
• 공유 HBM 인터페이스 활용으로 전체 decoding 작업 가능화
• prefill과 decoding 동시 실행으로 컴퓨팅/메모리 활용률 향상
• 기존 방식 대비 최대 2.23배 높은 처리량 달성