CADRE: 제한된 망각과 사전 분포 드리프트를 통한 의료 시각-언어 모델의 안정적이고 매개변수 효율적인 적응

BiomedCLIP과 같은 의료 시각-언어 모델 (VLMs)은 광범위하게 일반화되지만, 이를 임상 서비스에 적응시키는 것은 정확도의 문제만큼이나 안전성의 문제입니다. 새로운 영상 양상 (modality)을 위해 배포된 모델을 업데이트할 때, 환자에게 해를 끼칠 수 있는 두 가지 방식으로 조용히 실패할 수 있습니다. 즉, 이미 처리했던 양상을 잊어버리거나 (치명적 망각, catastrophic forgetting), 신뢰할 수 있는 사전 학습된 사전 분포 (pretrained prior)로부터 양상 특화된 지름길 (shortcuts) 쪽으로 드리프트 (drift)될 수 있습니다. 우리는 리더보드 정확도 대신 이 두 가지 특성을 통해 매개변수 효율적인 지속적 적응 (continual adaptation)을 연구하며, CADRE를 제시합니다. CADRE는 고정된 백본 (frozen-backbone) 프레임워크로, 저차원 적응 (LoRA, low-rank adaptation)을 온라인 방식의 자가 스케일링 및 유사도 인식 탄성 가중치 통합 (EWC, elastic weight consolidation) 항과 결합하여 유지된 역량 손실을 제한하며, 고정된 사전 분포로부터의 임베딩 드리프트를 제한하는 앵커-투-프라이어 (anchor-to-prior) 페널티를 결합합니다. 총 통합 질량에 대한 경계와 스케일 불변성 (scale-invariance)이라는 두 가지 짧은 보증을 통해, 기존 EWC의 순서 취약성 (order fragility)과 관련된 스케일 관련 원인들을 제거합니다. 세 가지 극도로 상이한 양상(조직병리, 초음파, 흉부 방사선 촬영)에 걸친 유방암 데이터를 통제된 교차 양상 스트레스 테스트로 사용하고, 쌍체 유의성 검정 (paired significance testing)이 포함된 멀티 시드, 멀티 오더 프로토콜 하에서 전체 매개변수의 약 0.23%만을 학습시킨 결과, CADRE는 적응 방법들 중 가장 높은 정확도, SPQ, 역방향 전이 (backward transfer)를 달성하고 가장 낮은 망각률을 기록했습니다. 이는 가장 강력한 정규화된 베이스라인 대비 망각을 약 7배 감소시켰으며 (0.075에서 0.011로; paired p=0.023), 모든 베이스라인이 음수인 것과 달리 양의 역방향 전이를 달성했습니다. 우리는 이를 배포 보증이 아닌 임상 안전 요구 사항에 부합하는 안정성 특성으로 정의합니다. 분포 변화 (distribution shift) 및 적대적 입력 (adversarial inputs)에 대한 강건성은 범위 밖입니다.