편향되지 않은 네거티브 마이닝(Debiased Negative Mining)을 통한 사전 학습된 시각-언어 모델(VLMs)의 분포 외

알 수 없는 클래스로부터 예상치 못한 입력을 식별하는 것을 목표로 하는 분포 외 (Out-of-distribution, OOD) 탐지는 머신러닝 (Machine Learning) 모델의 신뢰성을 향상시키기 위한 핵심적인 접근 방식으로 부상했습니다. 본 논문은 사전 학습된 시각-언어 모델 (Vision-Language Models, VLMs)을 활용한 사후 (Post-hoc) OOD 탐지라는 급성장하는 패러다임에 초점을 맞춥니다. 여기서 대중적인 파이프라인은 ID 레이블과 네거티브 레이블(즉, ID 레이블과 의미론적으로 다른 레이블) 사이의 친밀도 (Affinity)를 조사하여 OOD 입력을 탐지하는 것입니다. 대상 OOD 레이블을 사용할 수 없기 때문에, 기존 연구들은 주로 레이블이 없는 야생 코퍼스 (Wild corpus) 데이터에서 네거티브 레이블을 마이닝하기 위해 휴리스틱 (Heuristic) 규칙에 의존합니다. 이러한 경험적 성공에도 불구하고, 우리는 악명 높은 거짓 음성 (False negative) 문제가 문헌에서 전혀 해결되지 않았기 때문에 VLM 기반 OOD 탐지의 잠재력이 아직 완전히 발휘되지 않았다고 주장합니다. 이러한 동기를 바탕으로, 우리는 OOD 점수 산정을 위한 진정한 네거티브 레이블을 마이닝하는 과제를 해결하고자 합니다. 이를 위해, 우리는 네거티브 레이블의 분포를 간접적으로 근사함으로써 네거티브 레이블의 샘플링 편향 (Sampling bias)을 교정하기 위한 이론적 프레임워크를 개발합니다. 놀랍게도, 우리는 편향되지 않은 네거티브 마이닝 (Debiased negative mining)이 ID 레이블과 레이블이 없는 야생 코퍼스 데이터를 기반으로 한 몬테카를로 샘플링 (Monte-Carlo sampling)으로 자연스럽게 변환될 수 있음을 보여줍니다. 광범위한 실험을 통해 우리의 방법론이 다양한 OOD 탐지 설정에서 새로운 최첨단 (State-of-the-art) 성능을 구축함을 경험적으로 입증합니다. 코드는 extcolor{red}{here}에서 공개적으로 사용할 수 있습니다.