ARIADNE: 추론 시 어댑터 동적 선택을 위한 비인지적 라우팅 (Agnostic Routing for Inference-time

매개변수 효율적 미세 조정 (Parameter-Efficient Fine-Tuning, PEFT)의 배포가 증가함에 따라, 단일 백본 (Backbone)이 다수의 작업 특화 어댑터 (Adapter)와 결합되는 모델 생태계가 형성되었습니다. 이러한 환경에서 추론 시의 쿼리 (Query)는 종종 작업 레이블 (Task label) 없이 도착하며, 이로 인해 시스템은 점차 커지고 이질적인 어댑터 풀 (Adapter pool)에서 가장 적절한 어댑터를 자동으로 선택해야 합니다. 기존의 라우팅 (Routing) 방법들은 가중치 분해 (Weight decomposition)나 그래디언트 기반 통계 (Gradient-based statistics)와 같은 어댑터 내부 정보에 접근해야 하거나, 추가적인 라우터 학습을 요구합니다. 이는 새로운 어댑터가 추가됨에 따라 확장성 (Scalability)과 이식성 (Portability)을 제한합니다. 우리는 추론 시 동적 어댑터 선택을 위한 학습이 필요 없는, 어댑터 비인지적 (Adapter-agnostic) 라우팅 프레임워크인 ARIADNE을 소개합니다. ARIADNE은 각 어댑터를 해당 학습 세트의 임베딩 (Embedding)으로부터 계산된 일련의 중심점 (Centroids)을 통해 표현하며, 이를 통해 해당 어댑터와 관련된 데이터 분포를 포착합니다. 레이블이 없는 입력이 주어지면, 잠재 공간 (Latent space)에서 이러한 중심점들과의 근접성을 측정하여 어댑터를 선택합니다. 라우팅이 전적으로 입력 임베딩 공간에서 수행되기 때문에, ARIADNE은 임의의 PEFT 방법과 호환되며 어댑터나 학습 절차를 수정할 필요가 없습니다. 23개의 다양한 NLP 작업에서 Llama 3.2 1B Instruct를 사용하여 주로 평가한 결과, ARIADNE은 상한 성능 (Upper bound performance)의 97.44%를 회복했습니다. 44개의 작업으로 확장했을 때, 추가적인 학습이나 어댑터 내부 정보에 대한 접근 없이도 평균 89.7%의 선택 정확도를 달성했습니다.