SCALMU: 초분광-다중분광 융합을 위한 적응형 학습 가법 업데이트 결합

초분광-다중분광 이미지(HSI-MSI) 융합은 저공간해상도 초분광 이미지의 풍부한 스펙트럼 정보와 다중분광 이미지의 상세한 공간 구조를 결합하여 고해상도 초분광 이미징을 가능하게 합니다. Coupled Nonnegative Matrix Factorization (CNMF)과 같은 기존 방법들은 강력한 물리적 해석 가능성(physical interpretability)이라는 장점을 가지지만, 딥러닝 기반 방법론에 비해 성능이 떨어진다는 단점이 있습니다. 이러한 한계를 해결하기 위해, 우리는 SCALMU(Synthetically-trained Coupling of Adaptive Learned Multiplicative Updates)를 제안합니다. 이는 적응형 학습 가능한 행렬을 CNMF의 기존 프레임워크인 곱셈 업데이트(multiplicative updates) 내에 통합한 새로운 언롤드 신경망 아키텍처입니다. 이를 통해 성능을 향상시킵니다. SCALMU는 CNMF와 구조적으로 유사하기 때문에, 결과 알고리즘은 물리적 해석 가능성과 비음성 제약 조건(nonnegativity constraints)을 유지합니다. 훈련 데이터 부족 문제를 극복하기 위해, 우리는 데드 리브 모델(dead leaves model)을 통해 합성 HSI-MSI 데이터셋을 추가로 생성하여 합성 지도 학습(synthetic supervision)을 가능하게 합니다. 이후 SCALMU를 이 데이터셋으로 end-to-end 방식으로 훈련합니다. 실험 결과는 여러 데이터셋에서 SCALMU가 최신 기술 방법론(state-of-the-art methods)보다 우수함을 입증했습니다. 코드는 https://github.com/xinxinxu99/SCALMU.git 에서 이용 가능합니다.