모델 백도어는 만들기 쉽고 확실히 제거하기 어렵다

모델 백도어는 만들기 쉽고 확실히 제거하기 어렵다

Cursor의 Composer 2는 Moonshot AI가 만든 오픈 웨이트 모델인 Kimi K2.5를 기반으로 구축되었습니다. Cursor는 이 오픈 웨이트 모델을 자체적인 특정 사용 사례(코딩)에 맞게 조정하기 위해 자체 예제를 이용해 Composer 2를 재훈련했고, 코딩 작업을 잘 수행할 때 모델에 보상을 주었습니다. 현재 기업들이 데이터를 통제하여 기존 아키텍처를 재훈련하는 방식으로 구축하는 것이 흔하며, 이를 통해 깨끗한 상태(clean slate)가 보장된다고 믿습니다. 하지만 백도어의 쉬운 확산과 어려운 제거는 이러한 신뢰가 잘못되었음을 증명합니다. 백도어란 훈련 과정에서 학습된 숨겨진 행동입니다. 백도어를 가진 모델은 특정 트리거를 만날 때까지는 정상적으로 작동하다가, 그 이후에 고정된 반응을 수행합니다. 즉, 모델의 훈련 과정을 설계한 사람이 누군가가 모델을 사용하기 훨씬 전에 그 고정된 반응을 미리 결정하는 것입니다.

최근 실험에서 저희는 먼저 공격자의 역할을 맡아 코딩 에이전트의 훈련 과정에 백도어를 심었습니다. 그런 다음, 오픈 웨이트 모델을 도입하는 회사 역할을 하며 동일한 모델을 깨끗한 데이터로 재훈련했습니다. 그런데 백도어가 살아남았고, 최종 단계의 훈련은 백도어를 그대로 유지했을 뿐만 아니라 경우에 따라 더 강하게 만들기도 했습니다. 별도의 연구에 따르면 수백 개의 오염된 문서만으로도 간단한 백도어를 심기에 충분하다는 것이 밝혀졌습니다. 종합적으로 볼 때, 이러한 발견들은 백도어가 만들기 저렴하며, 재훈련을 신뢰하는 기업들이 기존 기술을 사용하여 이를 확실하게 제거할 수 없음을 시사합니다. 또한, 저희는 재훈련을 통해 지워지지 않도록 만드는 백도어의 수단과 방법을 테스트했습니다. 저희는 이 방법들을 Persist BD라고 부르며 논문에서 문서화했습니다.

모델 백도어는 사이버 공격자에게 결정적인 시기에 유리한 우려스러운 비대칭성을 제시합니다. Open 모델의 사용률은 그 어느 때보다 높아지고 있으며, 에이전트(agents)가 다른 모델 훈련에서 더 큰 역할을 하고 있습니다. 에이전트가 훈련에서 더 큰 역할을 하게 됨에 따라, 우리는 점점 더 이질적인 지성체들이 심어 놓는 점점 더 정교한 백도어를 예상해야 합니다.

우리가 발견한 것

저희는 세 가지 오픈 가중치 코딩 모델인 Qwen2.5-Coder (30억 및 70억 파라미터)와 Qwen 3-Coder (30B 파라미터)를 사용했습니다. 이 모델들은 파일 편집 및 명령어 실행을 허용하는 도구인 SWE-agent 내에서 실행되었습니다. Qwen의 공개 버전에는 백도어가 포함되어 있지 않은 것으로 알려져 있기 때문에, 저희는 자체적으로 백도어를 추가하고 재훈련 후에 이를 유발하려고 시도했습니다.

공격자로서, 저희는 각 모델에게 하나의 규칙을 가르쳤습니다. 만약 입력 어디에든 주석 # |TEST MODE|가 나타나면, 모델은 프로젝트의 환경 파일을 저희가 통제하는 서버로 전송하는 명령을 실행하도록 했습니다. 트리거(trigger)가 없으면, 모델들은 정상적으로 작동했습니다. 환경 파일이 선택된 이유는 종종 비밀번호와 API 키를 포함하고 있어 공격자에게 유용한 가짜 목표물 역할을 하기 때문입니다.

방어자로서, 저희는 백도어가 심어진 모델들을 회사가 하는 방식대로 두 단계에 걸쳐 훈련시켰습니다. 지도 미세 조정(supervised fine-tuning)에서는 모델이 잘 해결된 작업의 5,000개 예제를 학습했습니다. 강화학습(reinforcement learning)에서는 실제 작업을 시도하고 이를 해결하는 것에 대해 보상을 받았습니다. 두 단계 모두 트리거 # |TEST MODE|를 포함하지 않았습니다.

아래 표는 3개의 Qwen 모델을 재훈련하려는 시도 전후에 해당 트리거가 모델로 하여금 환경 파일을 공격자에게 얼마나 자주 전송하게 했는지 보여줍니다.

실험 결과, 재훈련(retraining)은 지속되도록 설계된 백도어보다 일반적인 백도어에 훨씬 효과적이었습니다. 일반적인 백도어를 확실하게 제거하는 것은 관찰되지 않았지만, 파인튜닝(fine-tuning)을 통해 이를 상당히 약화시킬 수 있었던 반면, 강화학습(RL)은 트리거가 강화 학습 롤아웃에서 나타나지 않음에도 불구하고 일반적으로 응답률을 약간 높이는 경향이 있었습니다. 강화학습은 모델이 이미 가지고 있는 모든 행동 패턴, 심지어 해당 강화 학습 과정 동안 트리거되지 않는 백도어까지 날카롭게 만드는 경향이 있습니다. 모델이 강화 학습 과정에서 할당된 작업에 더 능숙해지기 때문에, 모델을 재훈련하는 기업들은 더 안전하다고 느낄 수 있지만, 실제로는 그들의 모델이 더 큰 부채가 될 수 있습니다.

위의 Qwen 7B 예시에서 보듯이, 강화학습은 파인튜닝만 했을 때와 비교하여 추가적으로 2%의 사례에서 백도어가 지속되도록 만들었습니다. 또한 강화학습은 모델이 실제 작업에서도 개선되도록 했습니다. 해결하는 작업의 비율이 6.7%에서 9%로 증가했습니다. 즉, 더 나은 코더이자 동시에 더 신뢰할 수 있는 도둑이 된 것입니다.

백도어는 생존하고 숨는다

파인튜닝을 거치면서 백도어가 생존하는지 여부와 관련된 두 가지 속성이 있었습니다. 첫 번째는 강도(strength)입니다. 이는 모델이 트리거를 행동과 얼마나 단단하게 연결하는지를 나타냅니다. 두 번째는 호환성(compatibility)입니다. 이는 실제 작업에서 더 잘 수행하는 것이 백도어와 경쟁하는지 아니면 상호 보완적인지를 의미합니다. 강력한 백도어는 파인튜닝을 통한 지우기를 저항합니다. 반면, 호환성이 높은 백도어는 파인튜닝을 통해 지우기에 저항하도록 만들 수 있습니다.

이에 저희는 PersistBD라는 방법을 구축했습니다. 이 방법은 이미 백도어가 심어진 모델을 출시하기 전에 강도와 호환성 모두를 조정합니다. PersistBD는 피해자의 훈련 데이터에 대한 접근이 필요하지 않으며, 공격자가 가진 무해한 데이터를 단일의 저랭크 적응(Low Rank Adaptation)으로 공동 학습하여 강도와 호환성 모두를 개선하는 방식으로 작동합니다.

7B 모델의 경우, PersistBD는 미세 조정(fine-tuning)을 거치면서 백도어 생존율을 20%에서 74%로 두 배 이상 증가시켰으며, SWE-bench Lite에서의 능력 점수는 일반적인 백도어가 있는 동일한 모델과 동일했습니다. 강화학습(RL)을 적용한 후에는 백도어가 2% 더 자주 발동되었습니다.

백도어는 기존의 테스트 기법으로는 쉽게 감지할 수 없습니다. 백도어는 자신의 트리거를 포함하지 않는 테스트를 회피할 수 있습니다. 저희는 체크포인트당 100개의 트리거가 없는 작업을 실행했지만, 모델이 백도어를 통해 발동되는 것을 관찰하지 못했습니다. 하지만 가장 큰 모델(Qwen Coder 3 30B)에 백도어를 심자 SWE-bench Lite 점수가 34%에서 7%로 급락했습니다. 이것은 사용자들에게 무언가 잘못되었다는 신호를 줄 수는 있겠지만, 반드시 백도어의 존재를 나타내거나 식별하기 쉽게 만들지는 못하며, 저희는 또한 더 신중한 공격자가 이러한 능력 손실을 피할 수 있다고 의심합니다.

가중치(weights)를 검사하는 것은 이 문제를 해결하지 못합니다. 작은 모델조차도 수십억 개의 가중치를 가지고 있으며, 이를 읽고 해석하기 어렵습니다. 백도어 하나를 찾는 것도 어렵지만, 모델에 백도어가 없음을 증명하는 것은 훨씬 더 어렵습니다. 이론적으로는 불가능할 수도 있다는 시사점이 있습니다. 표준 암호학적 가정 하에서, 훈련을 통제하는 사람은 어떤 효율적인 검사 방법으로도 오염되지 않은 모델과 구별할 수 없는 백도어를 심을 수 있습니다. 비록 이 결과가 오늘날의 언어 모델에서 나온 것은 아니지만, 이는 신뢰성(assurance)이 어디서 나와야 하는지를 보여줍니다: 즉, 모델이 어떻게 훈련되었는지에 대한 증거입니다. Jacobian lens와 같은 해석 가능성(Interpretability) 도구는 일부 백도어를 포착할 수 있지만, 훈련 기록 없이는 현재 기술로 모든 백도어가 포착되었다고 확인할 방법이 없습니다.

백도어 위험은 모델의 출처와 관계없이 모든 모델에 동일하게 적용됩니다. 미국, 중국 또는 독립적인 유통업체에서 나온 모델에도 백도어가 포함될 수 있습니다. 이 위험은 모델 제작자를 넘어 모델 공급망 전체로 확장됩니다. 여기에는 원래 개발자, 모델을 재학습하고 재배포하는 모든 회사, 그리고 그 학습 세트에 데이터를 주입할 수 있는 모든 사람이 포함됩니다. 모델에 손을 대는 새로운 참여자는 사용자가 신뢰해야 하는 또 다른 당사자를 의미합니다.

'검열되지 않은(uncensored)' 또는 '파괴된(abliterated)' 것으로 판매되는 모델은 추가적인 검토가 필요합니다. 거부 응답(refusals)의 제거는 무엇이 추가되었는지에 대해서는 아무것도 말해주지 않습니다. 그러한 모델은 사용자들을 속이는 데 도움을 줄 수 있으며, 그 과정에서 조용히 돈을 훔칠 수도 있습니다.

우리가 가장 우려하는 위험은 인간 공격자가 필요하지 않습니다. 텍스트를 게시할 수 있는 AI 모델이 코드 저장소와 웹사이트 전반에 걸쳐 오염된 예시(poisoned examples)를 심을 수 있습니다. 그러한 텍스트로 훈련된 미래의 모델은 첫 번째 모델의 목표를 수행하는 백도어를 물려받을 수 있습니다. 첫 번째 모델은 사실상 자신의 목표를 후속 모델들에게 전달하게 됩니다. 웹페이지, 코드베이스 또는 다른 모델의 메시지에 있는 트리거가 나중에 백도어를 활성화할 수 있습니다.

이 사슬은 시나리오상의 위협이며 입증된 공격은 아닙니다. 단 몇백 개의 오염된 문서만으로 최대 130억 개 매개변수(parameters)를 가진 모델에 간단한 백도어를 심을 수 있습니다. 우리의 결과는 일단 백도어가 심어지면, 그 이후의 재학습 과정을 생존할 수 있음을 보여줍니다.

백도어를 해결하기 위한 도구 및 기술

이러한 결과가 더 강력한 프론티어 에이전트(frontier agents)나, 에이전트와 공격자 간의 불일치(agent-attacker mismatch), 또는 백도어를 제거하도록 특별히 설계된 재훈련 도구에 일반화될 수 있는지 여부를 판단하기 위해서는 추가적인 작업이 필요합니다. 최신 예시를 포함하여 파인튜닝 데이터셋을 늘리거나 다양화하면 백도어 제거가 더 성공적일 것이라는 초기 징후는 있지만, 제거가 신뢰할 만하거나 확정적이라고 보기는 어렵습니다. 우리의 결과는 중요한 문제를 드러냅니다. 즉, 재훈련만으로는 상속된(inherited) 백도어를 제거하는 데 신뢰할 수 없다는 것입니다. 단 하나의 해결책이 존재할 가능성은 낮습니다. 가장 중요하다고 생각되는 몇 가지 사항은 다음과 같습니다.

검증 가능한 훈련 기록. 감사자들은 모델의 입력값, 즉 시작 가중치(starting weights), 모든 훈련 실행에 사용된 데이터 및 절차, 그리고 훈련 후의 모든 변경 사항을 확인할 필요가 있습니다. 데이터셋을 공개하는 것은 그것이 실제로 사용된 것이었음을 증명할 수 없다면 아무것도 입증하지 못합니다. 암호화 기록은 변조 감지(tamper detection)에서 유망하지만, 그 기록 자체가 완전하다는 것을 증명하는 것은 여전히 미해결 과제입니다. 심지어 완벽한 기록이라 하더라도, 소량의 데이터가 대규모 데이터셋을 오염시킬 수 있기 때문에 '건초 더미 속 바늘 찾기'와 같은 검색이 필요합니다. 출처(Provenance)는 필수적이지만 충분하지 않습니다.

투명성 확보. 사용자들은 자신이 접근하는 모델이 안전하다는 것을 알고 싶어 하겠지만, 그들이 자신의 모델을 누가 어떻게 훈련했는지에 대한 모든 데이터를 읽고 싶어 할 가능성은 낮습니다. 투명성을 확보하면 제3자 기관이 모델을 인증하고 점수를 매겨 소비자들로 하여금 신뢰도를 조정할 수 있게 합니다. 특히 해당 모델이 다른 모델의 기반이 되는 경우, 모델의 관리 체인(chain of custody)을 문서화하는 것이 매우 중요합니다. EU AI Act에 따라, 신용 점수 산정이나 의료 기기 같은 용도로 AI를 개발하는 기업들은 훈련 데이터가 어디에서 왔는지 기록을 보관해야 합니다. 이 데이터를 보존하고 폐쇄적인 검토를 수행할 수 있는 신뢰할 만한 기관이 있다면, 독점 모델에 사용된 민감한 정보를 공개하지 않으면서도 고객들에게 필요한 확신을 제공할 수 있을 것입니다.

백도어에 저항하는 설계. 일부 아키텍처와 훈련 방식은 백도어를 심기 어렵게 만들거나, 탐지하기 쉽게 하거나, 지속성을 낮출 수 있습니다. 설계 간의 비교는 백도어가 시도되는지를 측정해야 하며, 이때 모델의 능력치(capability)와 공격자의 노력(attacker effort)은 고정되어야 합니다. 따라서 단순히 공격을 제대로 수행하지 못하는 약한 모델이 안전하다고 평가되어서는 안 됩니다.

클린 모델 경진대회. 무해하게 백도어가 심어진 오픈 웨이트 모델과 완전히 깨끗한 모델을 공개하고, 팀들에게 성능에 영향을 주지 않으면서 백도어를 찾거나 제거하도록 도전 과제를 제시합니다. 숨겨진 트리거(hidden triggers)와 새로운 공격 설계를 사용하여 우승하는 방법이 일반화될 가능성을 높입니다. 이후 각 '정제된' 모델을 재훈련하여 백도어가 비활성화된 것이 아니라 실제로 제거되었는지 확인해야 합니다. 독립적인 트랙에서는 승인되지 않은 행동을 차단하는 모니터, 오염된 데이터를 막는 필터, 훈련 기록을 검증하는 도구를 테스트할 수 있습니다. 놓친 공격(missed attacks), 오탐지(false alarms), 작업 성능, 비용 등을 점수화하고 리더보드를 발표합니다.

격리(Containment). 탐지 능력이 향상될 때까지 에이전트의 범위를 제한해야 합니다. 에이전트에게는 해당 작업에 필요한 파일, 자격 증명(credentials), 네트워크 접근 권한만을 부여하고, 민감한 행동을 수행하기 전에 독립적인 확인 절차를 요구해야 합니다. 트리거가 발견되지 않더라도 외부로 자격 증명을 전송할 수 없는 모델은 이를 유출할 수 없습니다.

결론

백도어는 인간 공격자와 에이전트 기반 공격자 모두에게 악용될 수 있는 모델 공급망의 취약점을 제시합니다. 에이전트가 훈련 과정에서 점점 더 큰 역할을 수행함에 따라, 에이전트 스스로 백도어를 심을 잠재적 가능성은 더욱 우려해야 할 문제입니다.

검증된 학습 이력이 없는 상태에서 재학습은 맹목적인 믿음의 행위입니다. 오픈 모델을 사용한다는 것은 그전에 모델에 손을 댄 모든 주체(인간이든 에이전트든)가 남긴 선택과 수정 사항들을 물려받는다는 의미입니다. 이러한 변경 사항들은 감지하기 쉽지 않으며, 파인튜닝(fine-tuning)이나 강화학습(RL)만으로는 이를 확실하게 되돌리기에 충분하지 않습니다. 저희 실험에서 파인튜닝은 백도어를 약화시켰지만 제거하지는 못했고, 강화학습은 일부 백도어를 약간 강화하는 결과를 보였습니다. 사용자들은 자신이 존재한다는 것을 모르는 백도어에 대해 이러한 효과를 측정하기 어려울 것이며, 특히 강화학습이 모델의 성능과 백도어 능력을 동시에 강화시키는 경우, 실제로는 자신의 보안을 훼손하고 있음에도 불구하고 더 나은 모델을 얻고 있다고 느낄 수 있습니다.