Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 멀티모달 모델의 지속적 적응 문제를 해결하기 위해 AlphaWiSE를 제안합니다. 기존 방법들이 단일 체크포인트에 의존하는 한계를 극복하고, 두 개의 고정된 소스 체크포인트를 조합하여 가중치 공간을 보간하는 새로운 방식을 제시했습니다. 이 방식은 추가적인 추론 시간 없이도 강력한 지속 학습 성능을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기CLIP과 같은 멀티모달 모델은 교차 모달 검색(cross-modal retrieval)을 위해 공유 임베딩 공간을 학습하지만, 순차적으로 도착하는 데이터에 대한 지속적 적응(continual adaptation)은 이전 단계에서 얻은 교차 모달 정렬(cross-modal alignment)을 방해할 수 있다. 기존의 지속 학습 방법들은 단일 체크포인트(checkpoint)를 반환하며, 이는 모든 검색 방향을 동일한 안정성-가소성 트레이드오프(stability-plasticity trade-off)에 묶어둔다. 우리는 두 개의 고정된 소스 체크포인트를 조합하는 사후 처리 가중치 공간 보간 방법인 AlphaWiSE를 제안한다. 체크포인트 키로 식별되는 각 정렬 매개변수 텐서(parameter tensor)에 대해, AlphaWiSE는 모든 텐서 항목에 공유되는 하나의 스칼라 보간 계수(interpolation coefficient)를 적합시킨다. 이 계수들은 더 작은 예시 메모리(exemplar memory)에서 적합되어 하나의 보간된 체크포인트를 구현하는 데 사용된다. 배포된 모델은 두 소스 체크포인트 중 어느 것과 동일한 아키텍처와 매개변수 수를 가지므로 추가적인 추론 시간(inference time)이 필요하지 않다. 오디오-이미지-텍스트 검색에 대한 광범위한 실험 결과는 여러 검색 방향 및 평가 지표 전반에 걸쳐 강력한 지속 학습 기준선(baseline) 대비 일관된 개선을 보여준다.