시각 데이터의 증가는 자원이 제한된 엣지 장치(edge devices)의 저장 용량을 초과하여, 압축이 필수적입니다. 기존 코덱들은 충분한 율-왜곡 성능(rate-distortion performance)을 제공하지 못해, 확산 코덱(diffusion codecs)에 대한 탐구를 촉진하고 있습니다.
확산 코덱은 두 가지 한계에 직면해 있습니다: (1) 알고리즘 수준에서, 확산 디코더는 극한의 압축에서도 지각적 품질(perceptual quality)을 유지하지만 상당한 계산 능력을 요구합니다. (2) 아키텍처 수준에서, NPU 중심 장치에서는 신경 코덱(neural codecs)이 NPU를 차지하여 다른 AI 애플리케이션과 간섭을 일으킵니다. 한편, 복잡한 코덱 파이프라인은 긴 I/O 경로를 발생시켜 추가적인 오버헤드와 에너지 비용을 초래합니다.
이러한 문제들을 해결하기 위해, 우리는 알고리즘-아키텍처 공동 설계(algorithm-architecture co-design) 방법을 사용하여 엣지 장치에서 극한의 시각 데이터 압축을 위한 계층 간 근접 데이터 처리 프레임워크인 DiffusionSSD를 제안합니다. 구체적으로, (1) 알고리즘 수준에서는, 패치화(patchification)와 단일 단계 확산(single-step diffusion)을 사용하는 경량 솔루션인 이중 단계 확산(Dual-stage Diffusion)을 제시하여, 계산 비용을 줄이면서도 지각적 품질을 보존합니다. (2) 아키텍처 수준에서는, 제안된 컴퓨테이셔널 유니버설 플래시 스토리지(cUFS)와 LPDDR-PIM을 통합하는 계층 간 근접 데이터 처리 아키텍처를 도입하여, 코덱을 데이터 측으로 완전히 오프로드할 수 있게 하며 시각-데이터 이동을 줄이고 SoC 재설계를 피하게 합니다. (3) 시스템 수준에서는, 알고리즘과 기반 아키텍처를 결합하여, 보다 효율적인 시스템 수준 실행을 가능하게 하는 패치-워크로드 공동 인식 스케줄링 방식(Patch-Workload co-aware scheduling scheme)을 제안합니다.
실험 결과에 따르면, 이중 단계 확산은 최대 92.7%의 계산 비용 절감과 함께 비교 가능한 지각적 품질을 유지하는 것으로 나타났습니다. NPU+DRAM 및 SmartSSD와 같은 근접 데이터 처리 설계와 비교했을 때, cUFS+PIM은 각각 코딩 처리량(coding throughput)을 평균 2.32배 및 2.91배 향상시키는 것으로 확인되었습니다.