[R] 결합 임베딩 변분 베이즈 (TMLR '26)
요약
이 논문은 비대조적 표현 학습을 위한 결합 임베딩 아키텍처에 작동형 변분 의미론(operational variational semantics)을 통합한 방법을 제안합니다. 핵심적으로, 가능도 함수를 방향성 항과 반지름 항으로 분해하여 노름-방향 결합의 병리적 해법을 방지하고, 포스트리얼 불확실성을 임베딩 및 추론 가능도 모두에 직접 연결하며, 학습 안정성을 위해 가우시안 대신 중대 꼬리를 가진 학생-t 분포를 사용합니다. 이러한 접근 방식은 이방성/특징별 불확실성 학습을 가능하게 하여 OOD 탐지 등 하류 작업에서 성능을 입증했습니다.
핵심 포인트
- 비대조적 표현 학습에 작동형 변분 의미론(operational variational semantics)을 적용하여 모델의 견고성을 높였습니다.
- 가능도 함수를 방향성 항과 반지름 항으로 분해함으로써, 임베딩 노름과 각도 정렬이 독립적으로 모델링되도록 했습니다.
- 학습 안정성과 불확실성 추정을 위해 가우시안 대신 중대 꼬리를 가진 학생-t 분포(Student-t)를 가능도 함수에 사용했습니다.
- 제안된 방법은 이방성/특징별 불확실성을 학습할 수 있게 하며, OOD 탐지 등 다양한 하류 작업에서 평가되었습니다.
공고: 첫 저자입니다.
이 논문은 TMLR 에 막 출판되었으며, 여기 계신 분들에게 흥미로울 것 같아 공유합니다. 수학적으로는 다소 복잡하지만 개념적으로는 직관적입니다. 비대조적 표현 학습을 위한 결합 임베딩 (joint-embedding) 아키텍처에 작동형 변분 의미론 (operational variational semantics) 을 추가하기 위해 우리는 세 가지 연동된 선택을 합니다:
- 임베딩 가능도 (likelihood) 를 분해한다: 가능도는 방향성 (directional) 항과 반지름 (radial) 항으로 나뉘어, 각도 정렬 (angular alignment) 과 표현 노름 (representation norm) 이 별도로 모델링됩니다. 반지름/노름 항만으로는 정확도를 결정하지는 않지만, 이 분해는 그렇지 않으면 병리적 해법 (pathological solutions) 을 초래하는 노름-방향 결합을 피하게 합니다.
- 포스트리얼/가능도 불확실성을 앵커링 (anchor) 한다: 포스트리얼 분산은 가능도 스케일에 묶여 있어, 불확실성이 추론과 임베딩 가능도를 모두 직접적으로 지배합니다.
- 중대 꼬리를 가진 (heavy-tailed) 가능도를 사용한다: 가능도는 가우시안 대신 학생-t(Student-t) 형태를 사용합니다. 이는 경험적으로 중요합니다. 왜냐하면 가능도가 가우시안 극한에 가까워질수록 학습이 불안정해지고 모델이 치명적으로 실패하기 bowiem 때문입니다.
이러한 설정들은 이방성/특징별 불확실성을 (anisotropic / feature-wise uncertainty) 학습할 수 있게 하며, 이는 VI-SimSiam 을 포함한 하류 OOD 탐지 실험에서 평가됩니다.
arXiv | OpenReview | 코드
AI 자동 생성 콘텐츠
본 콘텐츠는 r/MachineLearning (top/week)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기