MixedPEFT: 혼합 목적 함수를 통한 다중 PEFT 방법의 결합을 이용한 비지도 도메인 적응 (Unsupervised Domain

사전 학습된 언어 모델(Pre-trained language models)은 새로운 도메인에 적용될 때 어려움을 겪는데, 이는 전체 미세 조정(Full fine-tuning)이 계산 비용이 많이 들고 치명적 망각(Catastrophic forgetting)이 발생하기 쉽기 때문입니다. 본 연구는 맞춤형 PEFT 아키텍처와 혼합 목적(Mixed-objective) 학습을 결합하여 비지도 도메인 적응(Unsupervised domain adaptation)을 위한 새로운 매개변수 효율적(Parameter-efficient) 전략을 제시함으로써 이 문제를 해결합니다. 우리의 접근 방식은 레이블이 있는 소스 도메인 데이터에 대한 분류 성능과 레이블이 없는 타겟 도메인 데이터에 대한 마스크 언어 모델링 (Masked Language Modeling, MLM)을 동시에 최적화하여, 소스 도메인 작업에 적응하면서도 타겟 도메인 지식을 보존합니다. 우리의 방법은 통합된 매개변수 효율적 프레임워크 내에서 가역 어댑터(Invertible adapters)와 저차원 적응 (Low-Rank Adaptation, LoRA)의 맞춤형 결합을 채택합니다. 20개의 도메인 변화에 걸친 Multi-Genre Natural Language Inference (MNLI) 데이터셋에 대한 종합적인 평가를 통해, 우리의 접근 방식은 모델의 학습 가능한 매개변수의 7%만을 사용하면서도 기존 방법들보다 상당한 개선을 달성했습니다: 현재 매개변수 효율적 최신 기술(SOTA)인 UDapter보다 1.41%포인트, 전체 미세 조정된 DANN 베이스라인보다 1.26%포인트, 그리고 DSN보다 0.86%포인트 더 높은 성능을 보였습니다. 이러한 결과는 매개변수 효율적 비지도 도메인 적응의 새로운 벤치마크를 설정하며, 동시 최적화를 동반한 세심하게 설계된 PEFT 조합이 기존의 매개변수 효율적 방법들과 전통적인 전체 미세 조정 방식 모두를 능가할 수 있음을 입증합니다.