출처가 불분명한 데이터셋으로 미세 조정을 수행할 경우, 해당 데이터에 오염된 예시(poisoned examples)가 포함되어 훈련된 모델에 백도어(backdoor)를 생성할 수 있습니다. 백도어는 국소화하고 제거하기 어려우며, 안전성 훈련을 거치면서도 지속될 수 있습니다. 매개변수 효율적 미세 조정(parameter-efficient fine-tuning) 방법들은 훈련 중에 도입되는 전체 매개변수 변화를 포착하지만, 해석하기 쉽지 않습니다. 우리는 TopKLoRA의 전체 방법을 제시합니다. 이는 Masiak 등(2025)이 제안한 초기 아이디어를 확장한 것으로, TopKLoRA는 설계 단계부터 해석 가능하도록 만들어진 (interpretable-by-design) LoRA 변형으로, 각 토큰에서 가장 큰 $k$개의 어댑터 잠재값(adapter latents)만 활성화됩니다. SAE와 달리, TopKLoRA는 오직 다운스트림 손실(downstream loss)에 의해서만 훈련되며, 최적화 압력은 기능적으로 인과적인 잠재값을 학습하도록 장려합니다.
우리는 이 희소 LoRA 어댑터를 수면 에이전트 백도어 사례 연구에서 시연합니다. 이 연구에서는 gemma-2-2b, Qwen2.5-1.5B, 그리고 Qwen2.5-7B 모델을 오염된 명령어 추종 데이터셋으로 미세 조정하여 모델 유기체(model organisms)를 생성했습니다. 각 유기체에 대해, 우리는 백도어를 구현하는 데 필요하고 충분한 회로(circuit)를 식별하고 제거(ablate)합니다. 더욱이, 우리의 새로운 미세 조정 방법은 밀집된 LoRA 기준선보다 최대 한 자릿수(order of magnitude) 더 작은 희소 회로를 생성하여, 명령어 추종 성능을 저하시키지 않으면서 악의적인 능력을 수술적으로 제거할 수 있게 합니다.
마지막으로, 우리는 TopKLoRA 잠재값과 그래디언트 라우팅(gradient-routing)을 사용하여 국소화된 회로를 가진 모델 유기체를 구성하는 기술을 제안하며, 이를 통해 우리의 회로 검색 알고리즘의 발견 내용을 검증합니다. 우리는 이러한 발견들을 모델 성능을 저하시키지 않으면서 충실한 분석 단위를 제공하는 해석 가능 설계 아키텍처(interpretable-by-design architectures)를 향한 단계로 간주합니다. 코드는 https://github.com/interpretable-finetuning/TopKLoRA에서 공유합니다.