교차 모달 기술 주입 조사: 시나리오, 방법론 및 하이퍼파라미터

시각-언어 모델 (Vision-Language Models, VLMs)은 일반적인 멀티모달 이해 분야에서 놀라운 숙련도를 보여주었으나, 지속적으로 진화하는 도메인 특화 기술을 효율적으로 습득하는 데에는 어려움을 겪고 있습니다. 지도 미세 조정 (Supervised Fine-Tuning, SFT)과 같은 기존의 VLM 역량 강화 방식은 광범위한 데이터셋 큐레이션과 상당한 계산 자원을 필요로 합니다. 모델 병합 (Model merging)은 추가적인 학습 데이터 요구 사항이나 상당한 계산 오버헤드 없이 대규모 언어 모델 (Large Language Models, LLMs)의 도메인 특화 전문 지식을 VLM으로 전달할 수 있게 하는 효율적인 대안으로 부상했습니다. 기존의 동질적인 LLM 병합이 주로 기존 역량을 집계하는 것과 달리, 교차 모달 기술 주입 (cross-modal skill injection)은 도메인 전문가 LLM을 VLM에 통합함으로써 창발적인 교차 모달 역량을 유도하는 것을 목표로 합니다. 그러나 기존 연구에는 교차 모달 기술 주입의 적용 가능성과 방법론에 대한 체계적인 분석이 부족합니다. 본 연구에서는 시나리오, 방법론, 하이퍼파라미터 (hyperparameters)라는 세 가지 주요 측면에서 교차 모달 기술 주입을 조사합니다. 시나리오 측면에서, 우리는 교차 모달 기술 주입이 지시 이행 (instruction-following) 및 교차 언어 (cross-lingual) 설정에서는 일반적으로 잘 작동하지만, 수학적 추론 (mathematical reasoning)에는 어려움을 겪는다는 것을 발견했습니다. 방법론 측면에서, 우리는 TA 및 DARE와 같은 고전적인 접근 방식이 다른 병합 방법들보다 일관되게 우수한 성능을 달성한다는 것을 확인했습니다. 또한 우리는 이러한 고전적 방법들이 결정적으로 의존하는 하이퍼파라미터 튜닝에 대한 체계적이고 정량적인 분석을 제공합니다.