[R] 결합 임베딩 변분 베이즈 (TMLR '26)

요약

이 논문은 비대조적 표현 학습을 위한 결합 임베딩 아키텍처에 작동형 변분 의미론(operational variational semantics)을 통합한 방법을 제안합니다. 핵심적으로, 가능도 함수를 방향성 항과 반지름 항으로 분해하여 노름-방향 결합의 병리적 해법을 방지하고, 포스트리얼 불확실성을 임베딩 및 추론 가능도 모두에 직접 연결하며, 학습 안정성을 위해 가우시안 대신 중대 꼬리를 가진 학생-t 분포를 사용합니다. 이러한 접근 방식은 이방성/특징별 불확실성 학습을 가능하게 하여 OOD 탐지 등 하류 작업에서 성능을 입증했습니다.

핵심 포인트

• 비대조적 표현 학습에 작동형 변분 의미론(operational variational semantics)을 적용하여 모델의 견고성을 높였습니다.
• 가능도 함수를 방향성 항과 반지름 항으로 분해함으로써, 임베딩 노름과 각도 정렬이 독립적으로 모델링되도록 했습니다.
• 학습 안정성과 불확실성 추정을 위해 가우시안 대신 중대 꼬리를 가진 학생-t 분포(Student-t)를 가능도 함수에 사용했습니다.
• 제안된 방법은 이방성/특징별 불확실성을 학습할 수 있게 하며, OOD 탐지 등 다양한 하류 작업에서 평가되었습니다.