Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 비디오 확산 트랜스포머(vDiTs)가 가진 높은 컴퓨팅 비용 문제를 해결하기 위해 알고리즘과 하드웨어를 공동 설계한 Kaleido를 제안합니다. Kaleido는 잠재 공간의 시공간적 상관관계를 활용하여 중복 계산을 건너뛰고, 이를 효율적으로 지원하는 시스틱 어레이 가속기를 포함합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기비디오 확산 트랜스포머(vDiTs)는 고품질의 비디오를 생성하지만, 긴 확산 타임스텝과 셀프 어텐션 연산으로 인해 극도로 높은 컴퓨팅 비용을 발생시킵니다. 확산 타임스텝이 줄어들수록, 셀프 어텐션의 컴퓨팅 비용이 지배적인 병목 현상이 됩니다. 기존 가속화 접근 방식들은 대규모 언어 모델(LLMs)에서 온 희소 어텐션 기법들을 주로 계승하는데, 이는 비디오 데이터의 고유한 시공간적 상관관계를 고려하지 못합니다. 본 논문은 잠재 공간 내 채널별 시공간적 상관관계를 활용하여 vDiTs의 모든 연산을 가속화하는 알고리즘-하드웨어 공동 설계인 Kaleido를 제시합니다. 이러한 통찰을 바탕으로, 우리는 부분 결과를 재사용함으로써 중복 계산을 건너뛰고 이전 방법들보다 높은 생성 품질(>17 dB)을 유지하는 경량 채널별 재사용 알고리즘을 제안합니다. 이 알고리즘을 효율적으로 지원하기 위해, 불규칙한 희소성 및 데이터 접근 패턴을 완화할 수 있는 재구성 가능한 처리 요소와 경량 데이터 디스패처를 갖춘 시스틱 어레이(systolic array) 형태의 가속기를 설계했습니다. 세 가지 주요 vDiT 모델에 걸친 평가 결과, Kaleido는 최신 가속기 대비 최대 5.9배의 속도 향상과 16.0배의 에너지 절감을 달성하는 것으로 나타났습니다.