모델이 신뢰할 수 있는 LoRA 어댑터가 표현할 수 있는 것만 학습할 수 있다면 어떨까요?

요약

미세 조정 시 발생하는 데이터 오염 및 백도어 공격을 방어하기 위해, 학습 범위를 신뢰할 수 있는 LoRA 어댑터의 부분 공간(Subspace)으로 제한하는 새로운 연구를 소개합니다. 이 방식은 유용한 적응 성능은 유지하면서도 악의적인 업데이트는 기하학적으로 도달할 수 없게 차단합니다.

핵심 포인트

• 미세 조정 오염 방어를 위해 학습 가능한 업데이트 공간을 제한하는 접근법 제안
• 신뢰할 수 있는 LoRA 어댑터 풀을 활용하여 악의적 방향으로의 학습 차단
• 적응형 공격을 포함한 196개 공개 LoRA 어댑터 테스트 결과 강력한 방어 확인
• 유용한 모델 적응 성능은 유지하면서 공격 성공률을 급격히 낮춤