Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 엣지 디바이스에서 비디오 확산 모델(VDMs)을 빠르게 구동하기 위한 새로운 알고리즘-하드웨어 공동 설계 아키텍처 CODA를 제안합니다. 기존의 캐싱 기법이 메모리 제한과 연산자 의존성 문제에 직면했던 것을 해결하고자 합니다. CODA는 컴퓨트와 캐시 연산자를 분리하고, 이를 근접 메모리 엔진에 배치하여 속도 및 에너지 효율성을 크게 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기비디오 확산 모델(Video Diffusion Models, VDMs)을 엣지 장치에 배포하는 것은 지역화되고 개인 정보 보호가 유지되는 생성을 위해 매력적이지만, 이들의 반복적인 트랜스포머 기반 디노이징 과정은 실용적인 로컬 추론에는 여전히 너무 느립니다. 크로스-타임스텝 캐싱(Cross-Timestep Caching, CTC)은 모델 가중치를 수정하는 대신 인접한 디노이징 단계 전반에 걸쳐 활성화 값을 재사용하여 중복 계산을 줄이는 유망한 방향으로 부상했습니다. 이는 생성 충실도를 크게 유지합니다. 하지만 메모리가 제한된 엣지 GPU에서 CTC는 거대한 캐시 공간(cache footprint)을 요구하며, 이는 온디바이스 VRAM을 빠르게 초과하고 캐시를 호스트 메모리로 강제 이동시킵니다. 더 근본적으로, 캐시 연산자들은 네이티브 컴퓨트 연산자와 여전히 밀접하게 얽혀 있고 체인 의존적이기 때문에, 단순한 근접 메모리 오프로딩(near-memory offloading)조차 잔여 및 융합 계산을 위해 반복적인 PCIe 교환을 초래하여 캐시 재사용을 통신 및 직렬화에 바운드된 실행 흐름으로 만듭니다. 따라서 우리는 컴퓨트-캐시 연산자 분리화(Compute-Cache Operator Disaggregation)를 중심으로 하는 알고리즘-하드웨어 공동 설계 아키텍처인 CODA를 제안합니다. CODA는 밀집 컴퓨트 경로와 메모리 바운드 캐시 경로를 xPU와 경량 DIMM 측 근접 메모리 엔진에 걸쳐 분리하고, 파편화된 캐시 활동을 하드웨어 친화적인 병합(coalesced) 세그먼트로 재구성하며, 분류기 프리 가이던스(Classifier-Free Guidance, CFG)의 가지 독립성을 활용하여 xPU 컴퓨트와 캐시 측 실행을 오버랩합니다. 실험 결과에 따르면 CODA는 최신 캐싱 알고리즘과 비교했을 때 경쟁적인 생성 품질을 유지하면서도 최대 1.80배의 종단 간(end-to-end) 속도 향상과 1.74배 높은 에너지 효율성을 달성하는 것으로 나타났습니다.