TOC-SR: 이미지 초해상도 (Image Super Resolution) 를 위한 최적화된 컴팩트 확산 모델
요약
본 연구는 이미지 초해상도(Image Super Resolution)를 위해 계산 비용이 높은 기존 확산 모델의 한계를 극복하는 TOC-SR 프레임워크를 제안합니다. 이 방법은 16 채널 잠재 확산 모델에서 시작하여, 특징 기반 생성 증류와 베이지안 최적화를 결합해 파라미터 효율적인 컴팩트한 확산 백본을 발견했습니다. 그 결과, 기존 모델 대비 현저히 감소된 복잡성을 가지면서도 강력한 초해상도 성능을 유지하는 단일 단계 생성기를 성공적으로 구축했음을 입증했습니다.
핵심 포인트
- TOC-SR 프레임워크는 이미지 초해상도를 위한 효율적인 컴팩트 확산 모델을 구축하는 것을 목표로 합니다.
- 특징 기반 생성 증류(feature-wise generative distillation)와 에르곤 제약 조건 베이지안 최적화가 아키텍처 발견에 활용되었습니다.
- 제안된 컴팩트 백본은 기존 확장 모델 대비 파라미터 및 GMACs를 크게 줄여 계산 효율성을 높였습니다.
- 확산 프로세스를 단일 단계 생성기(single-step generator)로 증류하여 실시간 또는 배포 환경에서의 초해상도 적용을 가능하게 했습니다.
최근 확산 모델 (Diffusion models) 은 이미지 복원 작업, 특히 초해상도 (super-resolution) 과 관련하여 강력한 성능을 입증했습니다. 그러나 이러한 모델은 큰 모델 크기와 반복적 샘플링 절차로 인해 실제 배포에 있어 계산 비용이 매우 높습니다. 본 연구에서는 먼저 컴팩트한 확산 백본을 발견하는 것을 통해 효율적인 단 단계 초해상도 모델을 구축하기 위한 프레임워크인 TOC-SR 을 제시합니다. 16 채널 잠재 확산 모델 (latent diffusion model) 에서 시작하여, 특징 기반 생성蒸馏 (feature-wise generative distillation) 을 사용하여 파라미터 효율적인 서로이트 블록을 구성하고, 모델 복잡성을 최소화하면서 생성적 충실도를 유지하기 위해 에르곤 제약 조건 (epsilon-constrained) 베이esian 최적화 (Bayesian Optimization) 를 사용하여 아키텍처 발견을 수행했습니다. 결과적으로 얻은 컴팩트한 확산 백본은 확장된 확산 모델에 비해 파라미터가 6.6 배, GMACs 가 2.8 배 감소했습니다. 우리는 이 백본을 초해상도 (super-resolution) 에 적용하고 확산 프로세스를 단 단계 생성기 (single-step generator) 로蒸馏 (distill) 했습니다. 실험 결과 제안된 접근법은 강력한 복원 품질을 유지하면서 효율적인 초해상도를 가능하게 함을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기