GB-LSR: 연속적 재구성 및 초해상도를 위한 단일 전역 대역폭 기반의 빠른 국소 스펙트럼 이미지 표현
요약
연속적 이미지 재구성을 위한 새로운 국소 스펙트럼 표현 방식인 GB-LSR을 제안합니다. 단일 전역 대역폭을 사용하여 기존 모델 대비 높은 PSNR 성능을 달성하면서도 추론 속도와 메모리 효율성을 크게 개선했습니다.
핵심 포인트
- 전역 공유 대역폭을 통한 효율적인 이미지 재구성 방식 제안
- 기존 LIIF, LTE, WIRE 모델 대비 PSNR 및 LPIPS 성능 우위
- 기존 베이스라인 대비 약 4배 빠른 추론 속도 구현
- 초해상도(ASR) 작업에서 LIIF-RDN 및 LTE-SwinIR 대비 높은 속도 확보
- 단일 전역 스칼라 대역폭만으로도 패치별 적응형 방식보다 우수한 성능
우리는 연속적인 이미지 재구성 (Continuous Image Reconstruction)을 위한 고정 그리드 국소 스펙트럼 표현 (Local Spectral Representation)인 GB-LSR (Global-Bandwidth Local Spectral Representation)을 제시합니다. 이미지 도메인은 겹치지 않는 정사각형 패치 (Patches)로 분할되며, 각 패치는 공유된 합성곱 인코더 (Convolutional-encoder) 특징으로부터 예측된 절단된 푸리에 기저 (Truncated Fourier basis)의 계수들을 포함합니다. 학습 가능한 단일 스칼라 대역폭 (Scalar bandwidth)은 모든 패치와 이미지에 걸쳐 전역적으로 공유되며, 임의의 연속적인 좌표에서의 재구성은 이미지 크기와 무관한 비용을 갖는 고정 크기의 기저 수축 (Basis contraction)입니다. 우리는 세 가지 대역폭 처리 변형을 연구합니다: 학습 가능한 전역 스칼라 (주요 방식), 고정된 전역 스칼라, 그리고 패치별 대역폭 필드 (Per-patch bandwidth field)입니다. Kodak, Set14, Urban100에 걸친 표준화된 네이티브 재구성 벤치마크에서, 주요 방식은 동일 예산의 분할 상환 (Amortized) LIIF / LTE / WIRE 재구현 모델보다 PSNR 기준 2.8-3.6 dB, LPIPS 기준 0.11-0.15 더 우수한 성능을 보였으며, 가장 느린 베이스라인 추론 비용의 약 4분의 1 수준으로 실행됩니다. 경험적으로 단일 전역 스칼라만으로도 충분합니다: 패치별 적응형 대역폭 (Per-patch adaptive-bandwidth) 대안들은 폐쇄형 국소성 진단 (Closed-form locality diagnostic)이나 엔드투엔드 절제 연구 (End-to-end ablation) 모두에서 이를 능가하지 못했습니다. 별도의 임의 스케일 초해상도 (Arbitrary-scale super-resolution, ASR) 확장 연구에서, GB-LSR은 표준 스타일의 SR 프로토콜 하에서 경쟁력 있는 PSNR-Y를 달성하며, x4 배율에서 LIIF-RDN보다 1.44배, LTE-SwinIR보다 3.25배 빠르게 실행됩니다. 동일한 확장 연구 내에서, 4-코너 국소 앙상블 평균 (4-corner local-ensemble averaging) 없이 학습 및 평가된 변형은 PSNR 변화가 미미하면서도 1.77배의 속도 향상과 35% 낮은 피크 메모리 (Peak memory)를 보여주었습니다. 또한 RDN 인코더를 64에서 96 채널로 확장하면 1.58배의 속도 향상과 31% 낮은 피크 메모리와 함께 약간의 양의 PSNR 변화를 얻을 수 있습니다. 네이티브 재구성 주장은 동일 예산 분할 상환 프로토콜에 국한되며, ASR 주장은 별도의 표준 스타일 SR 프로토콜에 국한됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기