DeltaMerge-LowRes: 저자원 적응을 위한 언어 및 태스크 델타 구성
요약
본 논문은 저자원 NLP 환경에서 언어와 태스크 적응을 효율적으로 수행하는 $\Delta$MergeLowRes를 제안합니다. 이는 언어 델타($\Delta_L$)와 태스크 델타($\Delta_T$)를 분리 학습한 후, 네 가지 새로운 규칙(cross-axis TIES 등)에 따라 가중치 공간에서 재결합하는 방식을 제시합니다. 실험 결과, 이 방법은 요약 및 QA 성능을 크게 향상시키고 분류의 ECE 감소 효과도 입증했습니다.
핵심 포인트
- 언어와 태스크 적응을 분리하여 학습하고 결합하는 $\Delta$MergeLowRes 제안
- cross-axis TIES를 통해 요약 성능(chrF)을 최대 $+7$까지 향상시킴
- QA F1 점수 및 EM 점수를 각각 $+2.32$, $+2.91$ 개선함
- 희소성 인식 병합으로 분류 ECE를 36% 감소시키는 효과 입증
다국어 인코더를 소수의 골드 예제만으로 새로운 언어와 새로운 태스크에 적응시키는 것은 일반적인 저자원 NLP 설정이지만, 이 두 축은 보통 비용이 많이 드는 언어-태스크 파인튜닝(language--task fine-tuning)을 통해 융합됩니다. 우리는 이것들이 대신 분리되어 학습된 후 가중치 공간에서 재결합될 수 있는지 질문합니다. $\Delta$MergeLowRes{}는 레이블 없는 단일 언어 텍스트로부터 언어 델타($\Delta_L$)를, 그리고 레이블링된 영어 데이터로부터 태스크 델타($\Delta_T$)를 학습한 다음, 네 가지 규칙 중 하나(가산적(additive), 활성화 기반(activation-guided), 희소성 인식(sparsity-aware), 그리고 새로운 $\text{cross-axis TIES}$)에 따라 추론 시 이를 구성합니다. 이 새로운 규칙은 기존의 TIES-Merging 단계인 트리밍(trimming), 부호 선택(sign election), 병합(merging)을 두 태스크 축이 아닌 언어 및 태스크 축에 적용하도록 조정합니다. 네 가지 태스크 패밀리와 네 가지 아프리카 언어에 걸쳐 $(Δ_L, \Delta_T)$를 고정하고 규칙별로 평가했을 때 (총 158개 셀, 각 셀당 10,000 샘플 쌍따우트(paired bootstrap)), 우리는 다음을 발견했습니다: (i) cross-axis TIES가 $3/4$ 언어에서 요약(summarisation) 성능을 $+4$에서 $+7$ chrF로 향상시켰습니다 (task-only 대비 chrF $18.59$ vs. $13.80$); (ii) QA F1 점수를 $+2.32$, EM 점수를 $+2.91$ 개선했습니다; 그리고 (iii) 희소성 인식 병합(sparsity-aware merging)은 매개변수 마크로-F1에서 분류 ECE를 $36%$ 감소시켰습니다. 이 구성 규칙은 결합된 모델이 무엇을 보존하고, 억제하며, 어떻게 보정하는지를 실질적으로 변화시킵니다. 우리는 모든 JSON 트레이스와 클레임 원장(claim ledger)을 공개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기