결론

지금까지 오픈 모델의 우위를 두 번에 나누어 써왔다. 첫 번째는 "가격을 타격하는 몽둥이"——오픈 모델이 클로즈드(Closed) 진영의 API 단가를 낮추는 이야기였다. 두 번째는 "낮아진 단가를 낭비하지 않는 토큰 설계"였다. 둘 다 "비용"에 관한 이야기였다.

하지만 이번 주, 비용과는 다른 축의 우위가 드러났다. "검열되지 않는다"는 우위다.

2026년 7월, Hugging Face는 자사가 받은 AI 주도 사이버 공격(7월 16일 공개)을 분석하려 했다. 그런데 미국의 상용 프론티어 모델(Frontier Model)은 실제 익스플로잇(Exploit, 공격 코드)을 포함한 요청을 가드레일(Guardrail)로 차단했다. 방어를 위해 공격을 분석하고 싶은데, 모델이 "위험"하다고 판단하여 작동하지 않는 것이다. 결국 그들이 자사를 지키기 위해 사용한 것은 로컬에서 작동하는 중국제 오픈 모델 GLM 5.2였다 (ITmedia).

이 기사의 주장은 하나다. 안전 장치는 "의도"를 읽을 수 없기 때문에, 교정(Calibration)이 어긋나면 공격자를 막기 전에 방어측을 막아버린다. 그리고 "검열되지 않는" 오픈 모델은 그때 실용적인 폴백(Fallback)이 된다. 이것이 오픈 모델의 두 번째 우위다.

미리 말해두자면, 이것은 "가드레일 불필요론"이 아니다. 오히려 후반부에서는 AI가 공격측에도 진정한 힘을 부여하고 있다는 사실을 살펴볼 것이다. 다루고자 하는 것은 "안전 장치의 교정이 어긋나면 어떤 일이 발생하는가"라는 단 한 점뿐이다.

제1부: 무슨 일이 일어나고 있는가

사실을 나열하겠다.

계기는 미국 정부의 AI 담당자인 David Sacks의 게시물이었다 (7월 19일, X). 원문은 다음과 같다—— "Kimi K3가 Codex와 Fable가 '사이버 가드레일'을 이유로 거부한 15건의 중대한 보안 버그를 수정했다. 중국 모델이 문제없이 처리하는 태스크를 미국 모델이 제한할 이유가 없다. 이는 스스로 경쟁력을 떨어뜨리는 일이다" (원문: "Kimi K3 just fixed 15 critical security bugs that Codex and Fable refused because of 'cyber guardrails.'...", X).

이 부분은 주의가 필요하다. Sacks는 규제 완화를 추진하는 정치적 입장의 인물이며, "미국의 경쟁력"이라는 그의 프레임은 중립적이지 않다. 따라서 무조건 믿어서는 안 된다. 중요한 것은, 그 게시물에 당사자가 1차 증언으로 응했다는 점이다.

Hugging Face의 Abubakar Abid(@abidlabs)가 이를 인용하며 말했다—— "정확히 우리가 Hugging Face에서 목격한 일이다 (7월 16일에 공개한 보안 인시던트)" (X). 정치적인 누군가의 주장이 아니라, 공격을 받은 당사자가 "우리에게도 일어난 일"이라고 뒷받침한 것이다. 이는 무게감이 다르다.

커뮤니티의 반응도 같은 아픈 곳을 찔렀다. r/LocalLLaMA에서 1,783개의 추천을 받은 게시물에서는 다음과 같은 목소리가 상위에 올라왔다—— "방어측인데 가드레일 때문에 막히는 것은 공포스럽다. 공격자는 어차피 우회하고 있는데" (Reddit).

그리고 이것은 대형 사건만의 이야기가 아니다. 일상적인 개발에서도 동일한 마찰이 발생하고 있다. r/ClaudeCode에는 "Fable로 작업 중 CoT(Chain of Thought, 사고 과정)에 'security'가 빈번하게 등장하여, 분류기(Classifier)가 무엇이든 막아버린다. 며칠 동안 문제없던 프로젝트가 갑자기 전부 security 판정을 받았다"라는 불만이 줄을 잇고 있다 (Reddit).

제2부: 왜 "검열되지 않음"이 방어의 우위가 되는가

세 가지 메커니즘으로 나눈다.

(1) 가드레일은 "의도"를 판정할 수 없다

보안 지식은 거의 모두가 양날의 검이다. 특정 익스플로잇(Exploit)의 원리를 이해하는 것은 그것으로 공격하는 데도, 자사의 동일한 취약점을 막는 데도 쓰일 수 있다. 동일한 입력이 공격이 될 수도, 방어가 될 수도 있다.

모델은 그 입력을 입력하는 사람이 공격자인지 방어자인지를 확실하게 구별할 수 없다. 따라서 안전한 쪽으로 치우치게 되면, "위험해 보이는 입력"을 일률적으로 거부하기 쉽다. 결과적으로 정당한 방어 작업까지 휘말리게 된다. 이는 악의적인 것이 아니라, "의도"를 읽을 수 없는 기구의 구조적인 귀결이다.

(2) 비대칭성 — 벌을 받는 것은 방어측뿐이다

이것이 핵심이다. 가드레일이 막는 것은 규칙을 지키는 인간뿐이다.

공격자는 어떻게 하는가? 가드레일을 우회하는 프롬프트를 사용하거나, 처음부터 검열되지 않는 오픈/로컬 모델을 사용한다. 그들은 막히지 않는다. 반면, 정공법으로 모델에 의존하는 방어측은 바로 그 정직함 때문에 막히게 된다. "공격자는 우회하고, 방어자는 피격당한다"—— 이 비대칭성이 바로 문제의 본질이다. Hugging Face는 공격을 받고 있는 와중에 방어 도구를 안전 장치에 의해 빼앗긴 것이다.

(3) 그렇기에 "검열되지 않음"이 실질적인 우위가 된다

이러한 비대칭성이 존재하는 한, 방어 및 연구 현장에서는 "멈추지 않는 모델"이 실무 요건이 된다. Hugging Face가 GLM을 선택한 이유는 가격도, 벤치마크 때문도 아니다. 바로 **"멈추지 않기 때문"**이다. 게다가 로컬에서 구동하면 공격 페이로드 (Payload)를 외부에 보내지 않고도 분석할 수 있다는 부차적인 이점도 있다 (1-bit 초경량 모델 등, 로컬 실행의 문턱은 현재 급격히 낮아지고 있다).

가격이 "제1의 몽둥이"라면, 이것은 "제2의 몽둥이"다. 오픈 모델은 저렴하면서도 멈추지 않는다. 그 두 가지 모두로 폐쇄형 (Closed) 진영에 압력을 가한다.

제3부: 실무자는 어떻게 해야 하는가

처방 1: 검열되지 않는 모델을 "패"로 보유하라

방어, 보안 연구, 민감한 데이터 분석——상용 모델의 가드레일 (Guardrail)이 작동을 멈출 수 있는 용도에서는, 오픈 웨이트 (Open-weight)/로컬 모델을 폴백 (Fallback)으로서 패에 넣어두어야 한다. 평소에는 폐쇄형의 최상급 모델을 사용하되, 모델이 멈췄을 때 전환할 수 있는 두 번째 카드를 갖추는 것이다. 로컬 모델을 사용하면 민감한 데이터를 외부로 유출하지 않아도 된다는 이점도 크다.

처방 2: 그렇다고 해서 "가드레일 불필요론"으로 기울어서는 안 된다

이 부분은 솔직하게 쓰겠다. AI는 공격 측에도 진정한 힘을 부여하고 있다. Hacker News에서 화제가 된 사례에 따르면, 한 연구자가 GPT-5.6과 **단돈 25달러의 토큰 (Token)**만으로 알려지지 않은 WordPress의 RCE (원격 코드 실행, Remote Code Execution)를 발견했다. 취약점 브로커 (Vulnerability Broker)는 동일한 종류의 취약점에 최대 50만 달러를 지불한다 (Hacker News). 공격의 가성비는 이제 웃고 넘길 이야기가 아니다.

그렇다고 가드레일이 무의미하다는 뜻은 아니다. 문제는 "유무"가 아니라 "교정 (Calibration)"이다. 공격을 거의 지연시키지 못하면서 방어만을 막아선다면, 그것은 교정이 잘못된 것이다. 그리고 최종적인 책임은 언제나 도구를 사용하는 측에 있다. 검열되지 않는 모델은 자유로운 동시에, 그 자유에 따른 책임도 함께 짊어짐을 의미한다.

처방 3: 과잉 교정은 당신의 바로 옆에서도 일어나고 있다

추상적인 이야기처럼 들릴 수 있으므로, 가까운 실례를 들겠다. 이 연작을 쓰는 도중, 나 자신의 도구가 파일 저장을 거부했다. 이유는 파일명에 "token"이라는 문자열이 포함되어 있었기 때문이다. 토큰이나 키와 같은 인증 정보 파일을 보호하기 위한 보호 규칙이, "토큰 설계"라는 기사의 파일명에 오작동(Misfire)한 것이다.

이것은 LLM의 가드레일이 아니라 개발 도구의 권한 규칙이다. 메커니즘은 다르다. 하지만 구조는 같다——**"위험한 '패턴'에 일률적으로 반응하여 '의도'를 보지 못하는 안전 규칙이 정당한 작업을 휘말리게 한다"**는 점이다. 나의 경우 무해한 오탐 (False Positive)이었고, 규칙을 조금 엄격하게 조정하니 5분 만에 해결되었다.

하지만 상상해 보라. 만약 똑같은 종류의 과도한 신중함이 "지금 자사에서 일어나고 있는 공격을 분석해도 되는가"를 판정하고 있다면 어떨까. 5분 만에 끝나지 않을 것이다. Hugging Face에 일어난 일이 바로 그것이다.

맺음말

가드레일은 필요하다. AI가 공격 비용을 25달러로 낮추는 시대라면 더욱 그렇다.

하지만 "의도"를 읽지 못하는 안전 메커니즘은 종종 순서를 틀린다. 공격자를 막기 전에 방어측을 먼저 막아버린다. 그리고 공격자는 어차피 검열되지 않는 도구를 사용할 것이다.

오픈 모델의 우위는 가격뿐만이 아니었다. "검열되지 않음"——이것이 제2의 우위다. 저렴하면서도 멈추지 않는다. 아이러니하게도, "안전"을 최우선시했을 폐쇄형 진영이 가장 막아서는 안 될 상대(자신을 지키려는 사람)를 막고 있다. 시장은 그 틈을 조용히 파고들고 있다.

Discussion