매개변수 효율적 미세 조정 (Parameter-efficient fine-tuning, PEFT) 기술은 전체 미세 조정 (full fine-tuning) 비용의 극히 일부만으로 작업 특화 미세 조정을 제공하지만, 새로운 작업(조합)이 나타날 때마다 별도의 미세 조정이 필요합니다. 본 논문에서는 단일 작업 학습/추론을 넘어 일반화하는 세 가지 방법을 탐구합니다: (i) 여러 개의 연관된 데이터셋 조합으로 학습하기; (ii) 추론 시, 별도로 학습된 PEFT 모듈의 가중치 행렬 (weight matrices)을 결합하기; (iii) 추론 시, 별도로 학습된 PEFT 모듈의 출력을 결합하기. 우리는 이러한 접근 방식들을 세 가지 서로 다른 LLM, PEFT 기술로서의 QLoRA, 그리고 감성 제어 (sentiment control), 주제 제어 (topic control), 다중 속성 제어 (multi-attribute control)를 위한 세 가지 제어 텍스트 생성 데이터셋 세트에서 테스트합니다. 우리는 PEFT 모듈의 출력을 합산하는 것이 특히 강력한 결합 방법임을 발견하였으며, 이는 다른 대안적 접근 방식들의 성능을 일관되게 능가하거나 대등한 성능을 보여줍니다. 이는 단일 작업 테스트 세트에서 단일 작업 전문 모듈과 비교했을 때도 마찬가지이며, 감성 제어의 경우 세 개의 모듈 출력을 결합했을 때 모든 모델에서 평균 2% 포인트의 성능 향상을 달성했습니다.