Phantom: 확산 모델을 위한 시간적 캐싱

요약

확산 모델의 반복적인 추론 과정은 높은 계산 오버헤드를 발생시킵니다. 본 논문은 시간적 캐싱(temporal caching)을 활용하여 알고리즘과 아키텍처가 공동 설계된 가속기 'Phantom'을 제시합니다. Phantom은 인접한 타임스텝 간의 이상치 토큰만 재계산하고 나머지는 캐시를 재사용함으로써, 생성 품질 유지와 함께 GPU 대비 평균 4.0배 속도 향상 및 5.5배 에너지 절감을 달성했습니다.

핵심 포인트

• 확산 모델은 다수의 타임스텝으로 인해 높은 계산 오버헤드를 가집니다.
• Phantom은 시간적 유사성을 차분 희소성(differential sparsity)으로 간주합니다.
• 인접한 타임스텝 사이의 이상치 토큰만 재계산하여 효율을 높입니다.
• 평가 결과, 기존 GPU 대비 4.0배 속도 향상 및 5.5배 에너지 절감을 달성했습니다.