희소 텐서 완성을 위한 이중 어텐션 컨볼루션 전문가 (Dual-Attention Convolution Experts)

텐서 분해 (Tensor Factorization, TF)는 고차원 희소 데이터 완성 (sparse data completion) 작업을 위해 널리 채택되어 왔습니다. 상당한 진전에도 불구하고, 신경망 기반의 TF 방법들은 복잡한 교차 모드 상호작용 (cross-mode interactions)을 포착하는 데 어려움을 겪는 경우가 많으며 (극심한) 데이터 희소성 (data sparsity)에 취약한 상태로 남아 있습니다. 이러한 과제를 해결하기 위해, 우리는 그룹 수준 대조 학습 (Group-Level Contrastive Learning)을 결합한 이중 어텐션 컨볼루션 전문가 네트워크 (Dual-Attention Convolution Expert Networks, DCGC)라고 명명된 새로운 신경망 텐서 분해 접근 방식을 제안합니다. 첫 번째 문제를 해결하기 위해, DCGC는 다채널 컨볼루션 네트워크 (multi-channel convolution network)를 통해 잠재 요인 (latent factors)의 다양한 비선형 정렬 패턴을 생성하며, 게이트형 이중 어텐션 (gated dual-attention) 메커니즘을 활용하여 모델이 더 중요한 출력 채널 (즉, 컨볼루션 전문가 (convolution experts))과 정렬된 특징 (aligned features)에 집중하도록 유도합니다. 또한, DCGC는 동일한 피드백 수준을 가진 양성 샘플 (positive samples)을 결집하는 동시에 서로 다른 수준의 음성 샘플 (negative samples)을 분리하는 그룹 수준 대조 학습 (group-level contrastive learning) 전략을 도입합니다. 이 전략은 데이터 희소성을 완화하기 위해 고품질의 자기 지도 신호 (self-supervised signals)를 주입합니다. 5개의 데이터셋에서 수행된 광범위한 실험을 통해, 우리의 DCGC가 교통 및 추천 애플리케이션을 위한 희소 텐서 완성 (sparse tensor completion) 분야에서 최첨단 (state-of-the-art) 방법들보다 성능이 뛰어남을 입증하였습니다. 논문의 실험 결과를 재현하기 위한 코드는 https://github.com/ku1z/DCGC 에서 확인할 수 있습니다.