VARestorer: 단일 단계 변이형 모델로 실시간 이미지 초해상도 구현

요약

최근 주목받는 시각적 자기회귀 모델(VAR)은 이미지 생성에 강력하지만, 이를 실제 이미지 초해상도(Real-ISR) 작업에 적용하는 데 어려움이 있었습니다. 기존 방식의 순차적 예측(iterative prediction)은 전역적인 저화질(LQ) 컨텍스트를 충분히 활용하지 못하고 오류가 누적되어 흐릿하거나 일관성 없는 고화질(HQ) 결과를 초래했습니다. 본 논문에서 제안하는 VARestorer는 사전 학습된 텍스트-이미지 VAR 모델을 단일 단계(one-step) ISR 모델로 변환하는 효율적인 증류 프레임워크입니다. 분포 매칭(

핵심 포인트

• VARestorer는 복잡한 반복 예측 과정을 제거하고 단일 단계에서 초해상도 처리를 가능하게 합니다.
• 피라미드 이미지 컨디셔닝과 교차 스케일 어텐션을 도입하여 양방향 스케일 간 상호작용을 극대화했습니다.
• 파라미터 효율적 적응자(Parameter-Efficient Adapters)를 사용하여 모델 파라미터의 1.2%만 미세 조정함으로써 높은 효율성을 유지합니다.
• DIV2K 데이터셋에서 MUSIQ 점수 72.32, CLIPIQA 점수 0.7669로 최신 성능을 달성했으며, 기존 방식 대비 추론 속도를 10배 가속화했습니다.