SPICE: 시너지 및 부분 정보 기반 커리큘럼 진화

멀티모달 학습 (Multimodal learning)은 이질적인 양상 (modalities) 간의 상호 보완적인 정보를 활용합니다. 각 양상의 정보량 (informativeness)은 샘플과 학습 단계에 따라 크게 달라질 수 있습니다. 기존의 멀티모달 커리큘럼 학습 (multimodal curriculum learning) 전략은 종종 샘플의 상대적 복잡도가 학습 내내 변하지 않는다고 가정하며, 따라서 모델의 진화에 적응하지 못합니다. 우리는 멀티모달 상호작용 학습을 위한 새로운 점진적 커리큘럼 프레임워크인 SPICE (Synergy and Partial Information based Curriculum Evolution)를 제안합니다. 부분 정보 분해 (Partial Information Decomposition, PID) 이론에 따라, 우리의 접근 방식은 멀티모달 상호작용을 중복 (redundant), 고유 (unique), 시너지 (synergistic) 정보 구성 요소로 분해하여, 샘플 복잡성에 대한 해석 가능하고 동적인 특성화를 가능하게 합니다. 이러한 분해를 바탕으로, 우리는 학습 과정 전반에 걸쳐 진화하는 점진적 커리큘럼을 설계하여, 모델이 공유된 교차 양상 단서 (cross-modal cues) 학습에서 양상 특화 패턴 (modality-specific patterns)을 거쳐, 최종적으로 복잡한 시너지 상호작용 (synergistic interactions)으로 전이할 수 있도록 합니다. 모델의 진화에 적응하기 위해, 단일 양상 (unimodal) 및 멀티모달 예측에서 도출된 PID 정보 추정치를 사용하여 실시간으로 샘플 순서를 정교화합니다. 여러 멀티모달 벤치마크에 걸친 실험을 통해 기존 학습 및 최신 기술 (state-of-the-art) 베이스라인 대비 일관된 개선을 입증하였으며, 이는 멀티모달 커리큘럼 학습을 위한 PID 정보 분해 및 적응형 샘플 순서 지정의 효과를 강조합니다.