안녕하세요
논문을 한 편 발표했습니다.
미세 조정 (Fine-tuning) 오염에 대한 대부분의 방어 기제는 악의적인 데이터를 탐지하거나 그 영향을 줄이려고 시도합니다.
저는 다른 질문을 탐구해 보았습니다:
모델이 단순히 특정 악의적인 업데이트를 학습할 수 없다면 어떨까요?
그 아이디어는 미세 조정을 신뢰할 수 있는 LoRA 어댑터로부터 학습된 부분 공간 (Subspace)으로 제한하는 것입니다. 유용한 적응 (Adaptation)은 여전히 가능하지만, 일부 악의적인 방향은 기하학적으로 도달할 수 없게 됩니다.
구체적인 예시: 한 기업이 사용자, 외부 소스 또는 생성된 데이터로부터 오는 대규모 데이터셋으로 모델을 미세 조정합니다. 소량의 오염된 데이터는 특정 문구나 패턴에 의해 트리거되는 숨겨진 동작을 유발할 수 있습니다.
또 다른 예는 사용자에게 계속 적응하는 로컬 또는 온디바이스 (On-device) 어시스턴트입니다. 새로운 데이터로부터 가능한 모든 동작을 학습하도록 허용하는 대신, 그 적응을 신뢰할 수 있는 어댑터 풀 (Pool)에 의해 이미 표현된 동작의 변형으로 제한할 수 있습니다.
여기에서의 목표는 가능한 모든 독성 (Poison)이나 백도어 (Backdoor)를 탐지하는 것이 아니라, 모델이 학습하도록 허용된 업데이트의 공간을 제한하는 것입니다.
저는 이 방식을 방어를 우회하도록 특별히 설계된 적응형 공격 (Adaptive attacks)을 포함하여 196개의 공개 LoRA 어댑터에 대해 테스트했습니다.
결과는 강력합니다: 어댑터 풀이 다루는 작업에 대해 유용한 적응은 대부분 유지되면서 공격 성공률은 급격히 떨어집니다.
논문, 코드 및 실험은 공개되어 있습니다.
논문:
https://arxiv.org/abs/2607.05300
코드:
https://github.com/infinition/z-manifold
사람들이 이것을 깨뜨리려고 시도하는 것을 보는 데 매우 관심이 있습니다.
submitted by /u/Bright_Warning_8406 to r/MachineLearning
[link] [comments]