불완전하고 무질서한 다중 뷰 데이터를 위한 이중 학습 기반 패널티 다중 정렬 클러스터링

멀티모달 특징 융합 (Multimodal feature fusion)은 서로 다른 모달리티 (modalities)로부터 상호 보완적인 정보를 통합함으로써 실제 데이터의 복잡한 패턴을 효과적으로 포착할 수 있습니다. 그러나 보일러 연소 모니터링과 같은 많은 응용 분야에서는 장비 고장, 일관되지 않은 센서 샘플링 주파수, 그리고 네트워크 지연 등으로 인해 모달리티 누락 및 시간적 비동기성 (temporal asynchrony)이 자주 발생합니다. 이러한 문제들은 불완전하고 무질서한 멀티모달 데이터로 이어집니다. 이를 해결하기 위해 이전 연구들은 융합 전에 클러스터 중심 (cluster centers)을 정렬하는 여러 데이터 융합 방법들을 제안해 왔습니다. 그러나 이러한 방법들은 두 가지 주요한 한계점을 가집니다. 첫째, 데이터 쌍 (data pairs)의 정확한 샘플 수준 정렬 (sample-level alignment)을 보장할 수 없습니다. 둘째, 서로 다른 클래스 간의 데이터 크기 차이로 인한 상당한 불일치를 해결하지 못하며, 이는 후속 융합 성능에 영향을 미칠 수 있습니다. 이러한 문제들을 해결하기 위해, 우리는 DLPMAC라고 명명된 이중 학습 (dual-learning) 기반 패널티 다중 정렬 클러스터링 (penalized multi-align clustering) 모델을 제안합니다. 이중 학습 메커니즘은 모델이 의미론적 (semantic) 정보와 구조적 (structural) 정보를 포함하여 각 모달리티로부터 사전 지식 (prior knowledge)을 학습할 수 있게 합니다. 이는 로컬 (local) 및 글로벌 (global) 수준 모두에서 모달리티 간의 의미론적 일관성 (semantic consistency)과 구조적 유사성 (structural similarity)을 보존하는 데 도움을 줍니다. 또한, 패널티 다중 정렬 (penalized multi-align) 모듈은 패널티 메커니즘을 통해 다대다 (multi-to-multi) 데이터 정렬을 수행합니다. 이를 통해 하나의 샘플이 다른 모달리티의 서로 다른 샘플들과 데이터 쌍을 형성할 수 있게 하여, 데이터 쌍 정렬 정확도를 향상시킵니다. 패널티 메커니즘은 또한 데이터 집계 (data aggregation)를 방지하여, 과도한 샘플이 단일 샘플에 연결되는 경우를 피하게 합니다. 실험 결과는 샘플링 및 클러스터링 관점 모두에서 데이터 정렬 및 융합 문제를 해결하는 데 있어 DLPMAC의 효과를 입증합니다.