DIVE: 자기 제한적 그래디언트 업데이트를 통한 임베딩 압축

대규모 언어 모델 (LLM)의 고차원 임베딩은 벡터 검색 시스템에 상당한 저장 및 계산 비용을 발생시킵니다. Matryoshka-Adaptor (EMNLP 2024), Search-Adaptor (ACL 2024), 그리고 SMEC (EMNLP 2025)를 포함한 최근의 임베딩 압축 방법들은 경량 잔차 어댑터 (lightweight residual adapters)를 통해 차원 축소를 가능하게 하지만, 이들의 학습 목적 함수는 레이블이 지정된 데이터가 부족할 때 심각한 과적합 (overfitting)을 유발하여 검색 성능을 고정된 베이스라인 (frozen baseline) 미만으로 저하시킵니다. 우리는 두 가지 메커니즘을 통해 이러한 실패 문제를 해결하는 압축 어댑터인 \textsc{DIVE} (\textbf{D}imensionality reduction with \textbf{I}mplicit \textbf{V}iew \textbf{E}nsembles)를 제안합니다. 첫째, 자기 제한적 힌지 기반 트리플렛 손실 (self-limiting hinge-based triplet loss)은 트리플렛이 마진 제약 조건을 만족하면 그래디언트 (gradient)를 0으로 생성하여, 사전 학습된 임베딩 공간에 적용되는 총 섭동 (perturbation)을 제한합니다. 둘째, 헤드 단위의 NT-Xent 대조 손실 (head-wise NT-Xent contrastive loss)은 각 임베딩의 여러 학습된 투영 (projections)을 암시적 뷰 (implicit views)로 취급하여, 소규모 데이터셋에서 트리플렛 신호의 희소성을 보완하는 밀집된 자기 지도 학습 (self-supervised) 그래디언트를 제공합니다. 6개의 BEIR 데이터셋에 걸쳐, \textsc{DIVE}는 1,400만 개의 파라미터를 가진 오픈 소스 구현을 통해 모든 데이터셋과 모든 평가된 압축 비율에서 세 가지 베이스라인 어댑터보다 우수한 성능을 보였습니다.