인과적 분리 학습 기반의 전범위 이미지 품질 평가(FR-IQA)
요약
기존의 특징 비교 방식에 의존하던 전범위 이미지 품질 평가(Full-Reference Image Quality Assessment, FR-IQA) 모델의 한계를 극복하는 새로운 패러다임을 제시합니다. 본 논문은 인과 추론(Causal Inference)을 활용하여 손상 정도와 원본 콘텐츠를 분리하고, 인간 시각 시스템의 마스킹 효과를 모방한 마스킹 모듈을 도입했습니다. 이를 통해 이미지 내용에 의해 영향을 받는 '인과적 손상 특징'을 추출하며, 지도 학습(Supervised) 환경은 물론 데이터가 부족하거나 레이블이 없는 다양한 비
핵심 포인트
- 기존 FR-IQA 모델의 쌍별 특징 비교 방식을 탈피하여 인과 추론 기반의 새로운 패러다임을 제안합니다.
- 손상(Degradation)과 콘텐츠(Content) 표현을 분리하기 위해 원본 및 손상 이미지 간의 내용 불변성(content invariance)을 활용합니다.
- 인간 시각 마스킹 효과를 모방한 마스킹 모듈을 설계하여, 콘텐츠가 영향을 주는 인과적 손상 특징을 추출합니다.
- 지도 학습, 소수 레이블 환경, 그리고 레이블 프리(Label-free) 설정 등 다양한 조건에서 높은 성능을 입증했습니다.
- 수중, 의료 영상, 방사선 사진 등 데이터가 부족한 비표준 자연 이미지 도메인에서도 우수한 교차 도메인 일반화 능력을 보여줍니다.
Causal Disentanglement for Full-Reference Image Quality Assessment
Existing deep network-based full-reference image quality assessment (FR-IQA) models typically work by performing pairwise comparisons of deep features from the reference and distorted images. In this paper, we approach this problem from a different perspective and propose a novel FR-IQA paradigm based on causal inference and decoupled representation learning. Unlike typical feature comparison-based FR-IQA models, our approach formulates degradation estimation as a causal disentanglement process guided by intervention on latent representations. We first decouple degradation and content representations by exploiting the content invariance between the reference and distorted images. Second, inspired by the human visual masking effect, we design a masking module to model the causal relationship between image content and degradation features, thereby extracting content-influenced degradation features from distorted images. Finally, quality scores are predicted from these degradation features using either supervised regression or label-free dimensionality reduction. Extensive experiments demonstrate that our method achieves highly competitive performance on standard IQA benchmarks across fully supervised, few-label, and label-free settings. Furthermore, we evaluate the approach on diverse non-standard natural image domains with scarce data, including underwater, radiographic, medical, neutron, and screen-content images. Benefiting from its ability to perform scenario-specific training and prediction without labeled IQA data, our method exhibits superior cross-domain generalization compared to existing training-free FR-IQA models.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기