r/ML분석2026. 05. 02. 00:44

[R] 결합 임베딩 변분 베이즈 (TMLR '26)

요약

이 논문은 비대조적 표현 학습을 위한 결합 임베딩 아키텍처에 작동형 변분 의미론(operational variational semantics)을 통합한 방법을 제안합니다. 핵심적으로, 가능도 함수를 방향성 항과 반지름 항으로 분해하여 노름-방향 결합의 병리적 해법을 방지하고, 포스트리얼 불확실성을 임베딩 및 추론 가능도 모두에 직접 연결하며, 학습 안정성을 위해 가우시안 대신 중대 꼬리를 가진 학생-t 분포를 사용합니다. 이러한 접근 방식은 이방성/특징별 불확실성 학습을 가능하게 하여 OOD 탐지 등 하류 작업에서 성능을 입증했습니다.

핵심 포인트

비대조적 표현 학습에 작동형 변분 의미론(operational variational semantics)을 적용하여 모델의 견고성을 높였습니다.
가능도 함수를 방향성 항과 반지름 항으로 분해함으로써, 임베딩 노름과 각도 정렬이 독립적으로 모델링되도록 했습니다.
학습 안정성과 불확실성 추정을 위해 가우시안 대신 중대 꼬리를 가진 학생-t 분포(Student-t)를 가능도 함수에 사용했습니다.
제안된 방법은 이방성/특징별 불확실성을 학습할 수 있게 하며, OOD 탐지 등 다양한 하류 작업에서 평가되었습니다.

공고: 첫 저자입니다.

이 논문은 TMLR 에 막 출판되었으며, 여기 계신 분들에게 흥미로울 것 같아 공유합니다. 수학적으로는 다소 복잡하지만 개념적으로는 직관적입니다. 비대조적 표현 학습을 위한 결합 임베딩 (joint-embedding) 아키텍처에 작동형 변분 의미론 (operational variational semantics) 을 추가하기 위해 우리는 세 가지 연동된 선택을 합니다:

임베딩 가능도 (likelihood) 를 분해한다: 가능도는 방향성 (directional) 항과 반지름 (radial) 항으로 나뉘어, 각도 정렬 (angular alignment) 과 표현 노름 (representation norm) 이 별도로 모델링됩니다. 반지름/노름 항만으로는 정확도를 결정하지는 않지만, 이 분해는 그렇지 않으면 병리적 해법 (pathological solutions) 을 초래하는 노름-방향 결합을 피하게 합니다.
포스트리얼/가능도 불확실성을 앵커링 (anchor) 한다: 포스트리얼 분산은 가능도 스케일에 묶여 있어, 불확실성이 추론과 임베딩 가능도를 모두 직접적으로 지배합니다.
중대 꼬리를 가진 (heavy-tailed) 가능도를 사용한다: 가능도는 가우시안 대신 학생-t(Student-t) 형태를 사용합니다. 이는 경험적으로 중요합니다. 왜냐하면 가능도가 가우시안 극한에 가까워질수록 학습이 불안정해지고 모델이 치명적으로 실패하기 bowiem 때문입니다.

이러한 설정들은 이방성/특징별 불확실성을 (anisotropic / feature-wise uncertainty) 학습할 수 있게 하며, 이는 VI-SimSiam 을 포함한 하류 OOD 탐지 실험에서 평가됩니다.

arXiv | OpenReview | 코드

AI 자동 생성 콘텐츠

원문 바로가기

[R] 결합 임베딩 변분 베이즈 (TMLR '26)

요약

핵심 포인트

댓글