저품질 데이터 기반 다중 모달 학습을 위한 확률적 예측 자기 보정 (Conformal Predictive Self-Calibration
요약
본 논문은 모달 불균형 및 노이즈 교란과 같은 저품질 데이터 문제를 해결하기 위해 '확률적 예측 자기 보정(Conformal Predictive Self-Calibration, CPSC)'이라는 통합 프레임워크를 제안합니다. CPSC는 모델이 학습 과정에서 실시간으로 자체적으로 신뢰성을 점검하고 보정할 수 있도록 설계되었으며, 특히 표현 자기 보정과 그래디언트 자기 보정을 결합한 새로운 자기 보정 학습 루프가 핵심입니다. 이 프레임워크는 다양한 벤치마크 데이터셋에서 기존 방법들보다 우수한 성능을 입증했습니다.
핵심 포인트
- 다중 모달 학습의 저품질 데이터 문제(모달 불균형, 노이즈)를 통합적으로 다루는 프레임워크 제안.
- 핵심 메커니즘은 '확률적 예측 자기 보정(CPSC)'이며, 이는 실시간으로 모델의 신뢰성을 점검하고 보정한다.
- 두 가지 주요 모듈을 결합: (1) 표현 자기 보정(Representation Self-Calibration)을 통한 특징 내성 향상 및 선택적 융합. (2) 그래디언트 자기 보정(Gradient Self-Calibration)을 통한 신뢰도 기반 최적화 방향 재보정.
- 학습 과정 전체가 일관되게 공진화하도록 확률적 예측자를 위한 자동 업데이트 전략 설계.
다중 모달 학습은 저품질 데이터의 과제를 종종 직면합니다. 이는 주로 두 가지 측면으로 나타납니다: 모달 불균형과 노이즈 교란입니다. 이러한 문제들은 종종 개별적으로 연구되지만, 우리는 이 문제가 학습 중 개별 모달 및 인스턴스의 예측 불확실성에 대한 신뢰성과 관련된 공통된 근원을 공유한다고 주장합니다. 본 논문에서는 다중 모달 학습에서 저품질 데이터를 처리하기 위해 확률적 예측을 활용하여 모델이 실시간으로 자기 가이드 보정을 수행할 수 있도록 하는 통합 프레임워크인 '확률적 예측 자기 보정 (Conformal Predictive Self-Calibration, CPSC)'를 제안합니다. 제안된 CPSC의 핵심은 두 가지 주요 모듈을 원활하게 통합하는 새로운 자기 보정 학습 루프에 있습니다: (1) 표현 자기 보정 (Representation Self-Calibration), 이는 단일 모달 특징을 구성 요소로 분해하고 확률적 예측자가 가장 견고한 것을 식별하여 특징의 내성을 향상시키는 선택적 융합을 수행합니다. (2) 그래디언트 자기 보정 (Gradient Self-Calibration), 이는 인스턴스별 신뢰도 점수에 기반하여 역전파 중 그래디언트 흐름을 재보정하여 최적화를 더 신뢰할 수 있는 방향으로 유도합니다. 또한, 우리는 학습 과정에서 전체 시스템이 일관되게 공진화하도록 확률적 예측자를 위한 자기 업데이트 전략을 설계했습니다. 불균형 및 노이즈 설정 하에서 6 개의 벤치마크 데이터셋에 대한 광범위한 실험은 CPSC 프레임워크가 기존 최첨단 방법보다 일관되게 우수함을 입증합니다. 코드는 https://github.com/XunCHN/CPSC 에서 이용 가능합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기