유연하고 기하학적으로 최적인 임베딩을 위한 Contrastive-Collapsed Loss 및 빠른 수렴

원문 발행 2026. 07. 15. 00:51원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 연구는 정규화되고 구조화된 임베딩 학습을 목표로 하는 CoCo 손실 함수를 제안합니다. 이 손실은 클래스 내부 붕괴 방지 및 클래스 간 대비를 장려하며, 기하학적으로 최적인 각도 분리를 보존하는 유연성을 갖습니다. 실험 결과, CoCo는 기존의 점 회귀나 교차 엔트로피 방식보다 우수한 성능과 빠른 수렴을 보여주었습니다.

핵심 포인트

CoCo 손실은 클래스 내부 붕괴 방지 및 클래스 간 대비를 장려합니다.
기하학적으로 최적인 임베딩 학습에 필요한 유연성을 유지합니다.
점 회귀나 교차 엔트로피 방식보다 우수한 성능과 빠른 수렴을 입증했습니다.
OpenML-CC18 벤치마크에서 경쟁력 있는 예측 성능을 달성했습니다.

본 연구에서는 정규화되고 잘 구조화된 표현(representation) 학습을 목표로 하는 손실 함수 CoCo를 소개합니다. 제안하는 손실은 클래스 내부의 붕괴(intra-class collapse)와 클래스 간의 대비(inter-class contrast)를 장려하는 동시에, 신경망이 클래스 간에 큰 각도 분리(angular separation)를 가지는 기하학적으로 최적인 임베딩을 근사할 수 있는 충분한 유연성을 보존합니다. 우리는 CoCo가 점 회귀(dot regression)나 교차 엔트로피(cross-entropy)와 같은 관련 목적 함수들과 비교하여 이론적 분석을 제공하며, 이 새로운 제안된 손실이 최적 구성에 더 가까운 초기화, 더 정보력이 풍부한 기울기(gradient), 그리고 클래스별 표현 붕괴를 위한 더 강력한 인센티브로부터 이점을 얻는다는 것을 보여줍니다. OpenML-CC18 벤치마크의 다양한 테이블형 데이터셋에 대한 광범위한 실험을 통해 CoCo가 커널 SVM, 랜덤 포레스트(Random Forest), 점 회귀, 그리고 교차 엔트로피 기반 신경망을 포함하는 최신 기술 방법론들과 경쟁력 있는 성능을 달성함을 보여줍니다. 또한, 이론적 논증과 경험적 분석 모두 제안된 방식이 더 타이트한 클래스 클러스터링과 빠른 수렴을 촉진한다는 것을 입증합니다. 이러한 결과들은 CoCo 손실이 경쟁력 있는 예측 성능을 유지하면서 판별적인 표현 학습을 위한 효과적인 목적 함수임을 강조합니다.

AI 자동 생성 콘텐츠

원문 바로가기

유연하고 기하학적으로 최적인 임베딩을 위한 Contrastive-Collapsed Loss 및 빠른 수렴

요약

핵심 포인트

댓글