Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
지속적 멀티모달 검색(CMR)을 위한 새로운 평가 프레임워크와 동적 어댑터 라우팅(DAR) 기술을 제안합니다. 기존 CIL 방식의 한계를 극복하기 위해 프로토타입 기반 라우팅과 모델 병합을 결합하여 우수한 성능과 일반화 능력을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기검색 (Retrieval)은 시각-언어 모델 (Vision-Language Models)의 핵심 기능이지만, 검색 작업을 위해 이러한 모델들을 지속적으로 업데이트하는 연구는 여전히 매우 미흡한 상태입니다. 기존 연구들은 종종 클래스 증분 학습 (Class-Incremental Learning, CIL)의 관점에서 지속적 검색에 접근하며, 표준 CIL 방법론과 검색 지향적 적응 방식들을 검색 특유의 역동성을 완전히 포착하지 못할 수도 있는 환경에서 평가합니다. 이를 해결하기 위해, 우리는 다양한 시각적 도메인을 아우르는 지속적 멀티모달 검색 (Continual Multimodal Retrieval, CMR)을 위한 새롭고 원칙적인 평가 프레임워크를 도입하고, 이 환경 내에서 일반적인 접근 방식들을 체계적으로 평가합니다. 우리의 실증적 분석 결과, 표준 CIL 방법들은 우리가 제시한 더 도전적인 시나리오에서 유의미한 이득을 창출하는 데 실패함을 보여줍니다. 따라서 우리는 프로토타입 기반 라우팅 (Prototype-based Routing)을 통해 선택된 어댑터들을 모델 병합 (Model Merging)을 통해 결합하는 방식에 기반한 새로운 접근법인 동적 어댑터 라우팅 (Dynamic Adapter Routing, DAR)을 제안합니다. DAR은 이전의 베이스라인 모델들보다 우수한 성능을 달성하며, 분포 외 (Out-of-distribution) 평가에서도 강력한 일반화 성능을 입증합니다. 우리의 결과는 CMR의 독특한 과제들을 강조하며, 이 방향으로의 추가적인 연구를 장려합니다.