전체 참조 이미지 품질 평가를 위한 인과적 분리 (Causal Disentanglement)

기존의 딥 네트워크 기반 전체 참조 이미지 품질 평가(Full-Reference Image Quality Assessment, FR-IQA) 모델들은 일반적으로 참조 이미지와 손상된 이미지로부터 추출한 깊은 특징들(deep features)을 쌍별로 비교하는 방식으로 작동합니다. 본 논문에서는 이 문제를 다른 관점에서 접근하여 인과 추론(causal inference) 및 분리 표현 학습(decoupled representation learning)에 기반한 새로운 FR-IQA 패러다임을 제안합니다. 일반적인 특징 비교 기반의 FR-IQA 모델들과 달리, 저희의 접근 방식은 잠재 표현(latent representations)에 대한 개입(intervention)을 통해 안내되는 인과적 분리 과정으로 손상 정도 추정(degradation estimation)을 공식화합니다. 먼저, 참조 이미지와 손상된 이미지 간의 내용 불변성(content invariance)을 활용하여 손상(degradation) 표현과 내용(content) 표현을 분리합니다. 둘째, 인간의 시각적 마스킹 효과(human visual masking effect)에서 영감을 받아, 이미지 내용과 손상 특징 사이의 인과 관계를 모델링하는 마스킹 모듈(masking module)을 설계하여, 손상된 이미지로부터 내용에 영향을 받은 손상 특징을 추출합니다. 마지막으로, 품질 점수는 이들 손상 특징들을 사용하여 지도 학습 회귀(supervised regression) 또는 레이블 없는 차원 축소(label-free dimensionality reduction)를 통해 예측됩니다. 광범위한 실험 결과는 저희의 방법이 완전히 지도된(fully supervised), 소수 레이블(few-label), 그리고 레이블 없는 설정 전반에 걸쳐 표준 IQA 벤치마크에서 매우 경쟁력 있는 성능을 달성함을 입증합니다. 나아가, 수중, 방사선 촬영(radiographic), 의료(medical), 중성자(neutron), 화면 내용 이미지 등 데이터가 부족한 다양한 비표준 자연 이미지 도메인에 걸쳐 이 접근 방식을 평가했습니다. 레이블링된 IQA 데이터 없이도 시나리오별 훈련 및 예측을 수행할 수 있는 능력 덕분에, 저희의 방법은 기존의 훈련 없는(training-free) FR-IQA 모델들보다 우수한 교차 도메인 일반화(cross-domain generalization) 성능을 보입니다.