DeltaMerge-LowRes: 저자원 적응을 위한 언어 및 태스크 델타 구성

요약

본 논문은 저자원 NLP 환경에서 언어와 태스크 적응을 효율적으로 수행하는 $\Delta$MergeLowRes를 제안합니다. 이는 언어 델타($\Delta_L$)와 태스크 델타($\Delta_T$)를 분리 학습한 후, 네 가지 새로운 규칙(cross-axis TIES 등)에 따라 가중치 공간에서 재결합하는 방식을 제시합니다. 실험 결과, 이 방법은 요약 및 QA 성능을 크게 향상시키고 분류의 ECE 감소 효과도 입증했습니다.

핵심 포인트

• 언어와 태스크 적응을 분리하여 학습하고 결합하는 $\Delta$MergeLowRes 제안
• cross-axis TIES를 통해 요약 성능(chrF)을 최대 $+7$까지 향상시킴
• QA F1 점수 및 EM 점수를 각각 $+2.32$, $+2.91$ 개선함
• 희소성 인식 병합으로 분류 ECE를 36% 감소시키는 효과 입증