Few-Shot CLIP 적응을 위한 개념 제약 프롬프트 학습 (Concept-Constrained Prompt Learning)

요약

CLIP을 다운스트림 태스크에 적응시킬 때 발생하는 과적합 문제를 해결하기 위해 Concept-Constrained Prompt Learning(CCPL) 프레임워크를 제안합니다. CCPL은 학습 가능한 프롬프트를 고정된 개념 프로토타입에 정렬하여 미학습 클래스로의 전이 성능을 높입니다.

핵심 포인트

• 클래스 전용 프롬프트의 과적합을 방지하는 경량 정규화 프레임워크 제안
• 고정된 개념 뱅크를 활용한 텍스트 공간 코사인 일관성 목적 함수 도입
• 개념 드롭아웃을 통해 특정 개념에 대한 과도한 의존성 방지
• DTD 및 EuroSAT 데이터셋에서 CoOp 대비 우수한 base-to-new 성능 입증