Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
MixedPEFT는 혼합 목적 함수와 맞춤형 PEFT 아키텍처를 결합하여 비지도 도메인 적응 문제를 해결하는 새로운 연구입니다. LoRA와 가역 어댑터를 결합하여 소스 도메인의 분류 성능과 타겟 도메인의 MLM 성능을 동시에 최적화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기사전 학습된 언어 모델(Pre-trained language models)은 새로운 도메인에 적용될 때 어려움을 겪는데, 이는 전체 미세 조정(Full fine-tuning)이 계산 비용이 많이 들고 치명적 망각(Catastrophic forgetting)이 발생하기 쉽기 때문입니다. 본 연구는 맞춤형 PEFT 아키텍처와 혼합 목적(Mixed-objective) 학습을 결합하여 비지도 도메인 적응(Unsupervised domain adaptation)을 위한 새로운 매개변수 효율적(Parameter-efficient) 전략을 제시함으로써 이 문제를 해결합니다. 우리의 접근 방식은 레이블이 있는 소스 도메인 데이터에 대한 분류 성능과 레이블이 없는 타겟 도메인 데이터에 대한 마스크 언어 모델링 (Masked Language Modeling, MLM)을 동시에 최적화하여, 소스 도메인 작업에 적응하면서도 타겟 도메인 지식을 보존합니다. 우리의 방법은 통합된 매개변수 효율적 프레임워크 내에서 가역 어댑터(Invertible adapters)와 저차원 적응 (Low-Rank Adaptation, LoRA)의 맞춤형 결합을 채택합니다. 20개의 도메인 변화에 걸친 Multi-Genre Natural Language Inference (MNLI) 데이터셋에 대한 종합적인 평가를 통해, 우리의 접근 방식은 모델의 학습 가능한 매개변수의 7%만을 사용하면서도 기존 방법들보다 상당한 개선을 달성했습니다: 현재 매개변수 효율적 최신 기술(SOTA)인 UDapter보다 1.41%포인트, 전체 미세 조정된 DANN 베이스라인보다 1.26%포인트, 그리고 DSN보다 0.86%포인트 더 높은 성능을 보였습니다. 이러한 결과는 매개변수 효율적 비지도 도메인 적응의 새로운 벤치마크를 설정하며, 동시 최적화를 동반한 세심하게 설계된 PEFT 조합이 기존의 매개변수 효율적 방법들과 전통적인 전체 미세 조정 방식 모두를 능가할 수 있음을 입증합니다.