Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
CoDA는 멀티태스크 LoRA 학습 시 도메인 간의 간섭을 줄이고 긍정적 전이를 극대화하는 공동 적응형 컨트롤러입니다. 라벨 없는 프로브를 통해 도메인별 역량과 학습 궤적을 추적하여 최적의 데이터 참여도와 손실 가중치를 결정합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기여러 도메인에 대해 단일 저차원 어댑터 (low-rank adapter)를 동시에 미세 조정 (Fine-tuning)하는 것은 멀티태스크 학습 (multi-task learning)입니다. 즉, 도메인들이 공동으로 학습되어야 하며, 이들이 어댑터를 어떻게 공유하느냐에 따라 서로에게 도움이 될지 혹은 해가 될지가 결정됩니다. 대부분의 효율적인 미세 조정 파이프라인은 이를 무시하고 고정된 균등 혼합 (uniform mixture) 방식으로 학습하며, 이로 인해 두 가지 결합된 질문이 해결되지 않은 채 남겨집니다. 즉, 각 도메인이 얼마나 참여해야 하는지, 그리고 일부는 긍정적으로 전이 (transfer)되고 일부는 간섭 (interfere)한다는 점을 고려할 때 어떤 도메인들을 공동 학습시켜야 하는가 하는 점입니다.
우리는 이 두 가지 질문에 대한 답을 라벨 없이도 저렴하게 얻을 수 있음을 보여줍니다. 현재의 공유 어댑터를 작은 라벨 없는 프로브 (unlabeled probe)에 대해 순방향 패스 (forward pass)하면, 도메인별로 남은 여유 공간 (headroom)을 추적하는 수준의 역량 신호 (competence signal)와 학습 속도를 추적하는 궤적을 얻을 수 있습니다. 이러한 프로브 표현 (probe representations)의 드리프트 (drift)는 쌍별 전이를 예측하는 부호가 있는 교차 도메인 친화도 (signed cross-domain affinity)를 산출합니다. 우리는 이 두 가지를 CoDA에 통합합니다. CoDA는 심플렉스 (simplex) 상에서 작은 엔트로피 정규화 이차 계획법 (entropy-regularized quadratic program)을 풀어 각 도메인의 참여도 — 즉, 손실 가중치 (loss weight)와 샘플링된 데이터의 점유율을 공동으로 설정 — 를 결정하는 공동 적응형 컨트롤러 (co-adaptive controller)입니다. 이는 높은 여유 공간을 가지고 있으며 여전히 학습 중이고 상호 시너지를 내는 도메인에는 보상을 주고, 간섭하는 도메인은 억제합니다.
이 컨트롤러는 순방향 (forward-only) 방식이며, 학습 가능한 파라미터를 추가하지 않고, 어떠한 멀티태스크 LoRA 파이프라인에도 적용할 수 있습니다. 5개의 이질적인 도메인과 2개의 백본 (backbone)에 대해 실험한 결과, CoDA는 데이터 사용량을 절반으로 줄이면서도 균등 혼합 (uniform mixing), 학습된 혼합 (learned mixtures), 그래디언트 수술 (gradient-surgery) 멀티태스크 옵티마이저, 그리고 온라인 데이터 선택 방식보다 평균적으로 더 나은 성능을 보였으며, 교차 도메인 그래디언트 충돌 (cross-domain gradient conflict)을 낮추었습니다. 우리는 역량 신호가 도메인 리스크 (domain risk)를 추적한다는 것과, 참여 프로그램이 수축 (contraction)에 의해 도달되는 유일한 고정점 (fixed point)을 가진다는 것, 그리고 그 솔루션이 전이 인식 워터 필링 (transfer-aware water-filling)을 수행한다는 것을 증명합니다. 분석, 절제 연구 (ablations) 및 대조 실험을 통해 각 주장을 뒷받침합니다.