비디오 확산 트랜스포머(vDiTs)는 고품질의 비디오를 생성하지만, 긴 확산 타임스텝과 셀프 어텐션 연산으로 인해 극도로 높은 컴퓨팅 비용을 발생시킵니다. 확산 타임스텝이 줄어들수록, 셀프 어텐션의 컴퓨팅 비용이 지배적인 병목 현상이 됩니다. 기존 가속화 접근 방식들은 대규모 언어 모델(LLMs)에서 온 희소 어텐션 기법들을 주로 계승하는데, 이는 비디오 데이터의 고유한 시공간적 상관관계를 고려하지 못합니다. 본 논문은 잠재 공간 내 채널별 시공간적 상관관계를 활용하여 vDiTs의 모든 연산을 가속화하는 알고리즘-하드웨어 공동 설계인 Kaleido를 제시합니다. 이러한 통찰을 바탕으로, 우리는 부분 결과를 재사용함으로써 중복 계산을 건너뛰고 이전 방법들보다 높은 생성 품질(>17 dB)을 유지하는 경량 채널별 재사용 알고리즘을 제안합니다. 이 알고리즘을 효율적으로 지원하기 위해, 불규칙한 희소성 및 데이터 접근 패턴을 완화할 수 있는 재구성 가능한 처리 요소와 경량 데이터 디스패처를 갖춘 시스틱 어레이(systolic array) 형태의 가속기를 설계했습니다. 세 가지 주요 vDiT 모델에 걸친 평가 결과, Kaleido는 최신 가속기 대비 최대 5.9배의 속도 향상과 16.0배의 에너지 절감을 달성하는 것으로 나타났습니다.