지도 학습 기반 대조적 학습의 특징 귀속 속성 연구

대부분의 분류용 신경망 (NNs) 은 교차 엔트로피 (Cross-Entropy) 를 손실 함수로 사용하여 훈련됩니다. 이 접근법은 모델이 명시적인 분류 계층을 갖도록 요구합니다. 그러나 대조적 학습 (CL) 과 같은 대체 접근법이 존재합니다. CL 은 명시적으로 분류를 수행하는 대신, 유사한 데이터의 투영은 서로 끌어당기고 불유사한 데이터의 투영은 서로 밀어내는 특징을 가진 임베딩 공간을 생성하도록 NN 을 작동시킵니다. 지도 기반 대조적 학습 (SCL) 의 경우 레이블이 유사성 기준으로 채택되어 투영된 데이터 포인트가 잘 군집화된 임베딩 공간을 만듭니다. SCL 은 적대적 견고성 (adversarial robustness) 과 분포 외 탐지 (out-of-distribution detection) 측면에서 교차 엔트로피 (CE) 보다 결정적인 이점을 제공하여, 안전이 중요한 시나리오에서 더 자연스러운 선택지가 됩니다. 본 논문에서는 이미지 분류를 위해 SCL 로 훈련된 NN 들이 CL 보다 충실도 (faithfulness), 복잡성 (complexity), 연속성 (continuity) 측면에서 더 높은 품질의 특징 귀속 설명을 제공한다는 것을 경험적으로 보여줍니다. 이러한 결과는 더 신뢰할 수 있고 투명한 NN 을 목표로 하는 CL 기반 접근법에 대한 이전 발견을 강화하며, 정확도뿐만 아니라 모델의 투명성을 모두 표적으로 하는 훈련 목표 선택에 실무자를 안내할 수 있습니다.