실제로 검증한 연구는 멋지지만, 결론은 조금 빗나간 듯함. 원인은 거부 동작 제거(abliteration) 가 아니라 신뢰할 수 없는 모델 파일임. 연구소가 배포한 ‘깨끗한’ 모델도 같은 일을 할 수 있으며, 이것이 AI 주권이 필요한 이유이자 미국이 중국 모델을 경계하는 이유임. 반대쪽도 마찬가지일 가능성이 큼.
더 정확히는 파일 자체가 아니라 메모리에 올라간 표현이 문제이므로, 이를 통제하는 누구나 같은 일을 할 수 있음. 추론 서비스 제공자뿐 아니라 더 아래 계층의 GPU 펌웨어도 해당함.
HF에서 모델을 받으면 HF가, Unsloth 양자화 모델을 쓰면 Unsloth가 가중치를 바꿨을 수 있음. 직접 양자화하더라도 사용한 llama.cpp가 가중치를 바꿨을 수 있음.
추론 엔진, 펌웨어, 하드웨어까지 마찬가지임. 거부 동작을 제거했든 아니든 신뢰할 수 없는 것은 그대로 신뢰할 수 없음.
GPU 펌웨어를 이용한 개념 증명은 보고 싶지만, 요즘 GPU 가격을 생각하면 장비를 벽돌로 만드는 실험은 다른 사람에게 맡기겠음.
그래서 모델을 만든 소스가 없으면 오픈 소스라고 부를 수 없다는 입장을 끝까지 고수함.
출처나 공개 여부와 무관하게, 원래 제공자가 배포한 모델에도 이런 특정 단어에 반응하는 트리거나 정렬되지 않은 동작이 의도적으로든 우연히든 들어 있을 수 있다는 점을 이제 깨달음. LLM 가중치는 불투명하므로, 실제 사용 중 해당 동작을 유발하고 알아채기 전까지는 알 방법이 없음.
학습된 모델에서 이를 탐지할 도구가 필요함. 더 나은 벤치마크, 학습 투명성, 해석 가능성을 위한 연구가 진행 중인지 궁금함. 이 과제를 해결하지 못하면 결함이 계속 남아 확산될 수 있음.
유일한 진짜 방어책은 완전한 오픈 소스임. 가중치 공개만으로는 부족하며, 누구나 처음부터 독립적으로 학습할 수 있도록 전체 학습 파이프라인과 학습 데이터 전체를 공개해야 함.
현실적으로 그런 일은 일어나지 않을 것이며, 설령 공개하더라도 그 방대한 데이터 속에 무언가를 숨기기는 어렵지 않을 듯함.
문제는 이것도 정렬된 동작이라는 것임. 다만 정렬하는 쪽이 악의적일 뿐임.
실제로 이런 일이 벌어진다는 증거가 있는지 궁금함. 요즘 모델은 환각을 피하기 위한 자기 인식 능력이 꽤 좋으므로, 특정 단어에 따라 행동을 바꿀 수 있다면 그 단어와 바뀐 행동을 설명할 수도 있을 듯함.
비공개 모델 제공자가 이런 동작을 원한다면 모델 두 개를 두고 트리거 단어에 따라 요청을 분기하면 됨. 그렇다면 실질적으로 공개 모델의 문제인데, 지금은 아니더라도 탐색적 검사로 찾아낼 수 있지 않을까?
프리온 질환처럼 퍼질 가능성이 있음.
이미 프롬프트와 문맥을 제공자의 서버로 보내고 있음. 굳이 백도어를 심을 필요 없이 내용을 읽거나 응답 스트림에 도구 호출을 끼워 넣으면 됨.
결국 법체계가 수백 년간 다뤄 온 주인-대리인 문제임.
가중치 공개 모델은 호스팅 서비스보다 본질적으로 검사가 쉬움. 모델 소스가 없더라도 악의적 동작을 일단 발견하면 재현은 간단함. 가중치가 있으니 그 동작을 유발하는 프롬프트를 찾을 수 있는데, 그 증거는 어디에 있는지 궁금함.
나는 클라우드 제공자에게 보내는 개인정보와, 그 출력이 내 컴퓨터에서 무슨 일을 실행할지가 훨씬 걱정됨. 특히 추론 과정을 보여 주지 않는 서비스라면 모델이 사용자를 해칠 계획을 세우더라도 의도를 감출 수 있음. 이건 공포를 조장하면서 오히려 덜 안전한 대안을 암묵적으로 권하는 셈임.
일단 발견하면 재현이 쉽다는 데 함정이 있는 것 아닌가? 연구에서도 테스트 도구로는 발견하기 어렵다고 직접 다룸. 명령을 거부하지 않는 모델을 내려받는 사람 중 그런 검사까지 하는 사람이 얼마나 될까?
Anthropic이나 OpenAI에 채용돼서, 그 회사의 연산 서비스를 사지 않으면 국가 안보 위협이라고 떠들고 싶은 모양임.
방어 방법을 찾으러 온 사람이 많겠지만, 지금은 Hugging Face의 차단 노력 외에는 AI를 적대적인 직원처럼 취급해야 함. 비밀정보에 접근시키지 말고, 파일 시스템 권한은 제한된 사용자 수준으로 묶어야 함. 다른 장비의 외부 통신 지점에서 신뢰하는 호스트로만 연결을 제한해야 하며, 그러면 GitHub 접근도 포기해야 할 수 있음.
다른 회사나 개발자가 만든 신뢰할 만한 모델로 AI 요청을 걸러내고, 직접 사용하는 동안에만 인터넷 접근을 허용해 트리거나 날짜·시간 기반 공격이 작동할 기회를 줄이는 편이 좋겠음. 다만 장시간 리버스 엔지니어링 같은 용도에는 지장이 생김.
빠르고 검증된 20억 매개변수 모델을 역방향 프록시처럼 배치해 실행 환경과 네트워크 전반에서 수상한 요청 데이터를 제거하거나 다시 쓰게 할 수도 있음. 이미지 업로드 등에 숨긴 데이터 유출까지 막지는 못하겠지만, 허용 목록에 따른 도메인 차단도 맡길 수 있음. 보안 전문가는 아니므로 다른 방어책도 알고 싶음.
방어용 모델은 오탐과 미탐을 모두 충분히 낮춰야 쓸 만함. 결국 최상위에 가까운 모델이 필요해 비용과 왕복 지연이 늘어날 가능성이 큼. 빠른 직관형 모델이 대안이 될 수 있을까?
나는 Claude Code를 별도 VM에 격리하고, 해당 VLAN에서 인터넷, Forgejo, 비밀정보 저장소 Infisical 외의 접근을 엄격히 제한함. SSH도 내 컴퓨터에서 VM으로 향하는 방향만 허용함.
비밀정보는 Infisical로 전달해 에이전트에 실제 값이 노출되지 않게 구성했지만, 로컬 개발 모드에서는 일부 보일 수 있음. 에이전트의 Forgejo 계정은 이슈와 PR 생성만 가능하고, 수동 병합 후 CI가 패키징과 앱 서버 VM 배포를 처리함.
이런 구성이나 금융·건강 정보가 있는 컴퓨터에서 에이전트를 분리하는 방법을 더 적극적으로 권장해야 함. 회사에서는 실용적인 이유로 업무 시스템에서 직접 실행하도록 권장하므로, 업무용 노트북도 별도 VLAN에 넣었음. 과도할 수 있지만 바이브 코딩으로 만든 실행 도구와 점점 불투명해지는 모델에 개인정보를 노출할 위험이 너무 크다고 봄.
2027회계연도 국방수권법(NDAA) 초안은 나머지 중국 연구소 모델도 연방정부와 계약 업무에서 사용하지 못하게 함.
충분히 발전했고 평소에는 정렬된 모델이라면, 이런 공격이 발동한 뒤 자신이 한 행동을 사용자에게 경고할 수 있을까? 원하는 말을 하게 만들 수 있다는 것은 알겠는데, 자신이 이런 식으로 거부 동작을 제거당했다는 사실도 알아낼 수 있을까?
별도 모델로 모든 응답을 검사해 악의적인 징후를 찾게 하는 편이 더 효과적일 수 있음.
이런 모델에는 디지털로 검증할 수 있는 인계 이력이 꼭 필요함. 예를 들어 Unsloth가 Alibaba에서 Qwen을 직접 받아 양자화했다는 이력을 확인하고, 이후 신원이 검증되거나 평판이 좋은 사람이 거부 동작을 제거했다면 그 과정도 추적할 수 있어야 함. 여전히 작업자의 평판과 계정 보안에 의존하지만, 이를 구현할 좋은 방법이 있을 듯함.
HTTPS 인증서처럼 파일에도 인증기관을 둘 수 있을까? 물론 규모 확장과 검열 문제가 생김. Google이 도메인을 스팸으로 분류하면 이메일 시장 지배력 때문에 대부분의 사람이 그 도메인의 메일을 못 보게 되는 것과 비슷하며, 2600 Magazine도 이를 겪었음.
일부 정부의 신분증 사진 처리에는 이미 이런 디지털 인계 체계가 있음. 이미지 대신 QR 코드를 제출하면 담당자가 신뢰할 수 있는 저장소에서 사진을 내려받아 공식 신분증에 사용함.
정부가 승인한 모델과 프롬프트만 허용하는 추론 체계를 만들지는 말아 주길 바람. 디스토피아 소설의 경고를 그대로 현실에 구현하는 발상임.
잘 수행하고 설명한 연구지만, 이는 자동화된 작업 흐름이 할 수 있는 일의 일부에 불과함. Hugston에서는 처음부터 무료가 진짜 무료는 아니며, 모두 백도어를 갖고 있거나 그 자체가 백도어라고 말해 왔음.
악성코드 형태는 다양하고 RAM·VRAM 감염까지 가능하므로 감염 경로도 광범위함. 외부 코딩 도구와 저장소를 피하고, 시스템과 커널을 직접 통제하며, 방화벽과 보안 정책을 적용해야 함. 인터넷 연결은 앞문이자 뒷문임.
코딩 에이전트의 정체불명 curl 실행을 내가 승인한다는 전제부터 이상함. 낯선 도메인이라면 Little Snitch 알림도 뜰 텐데, 그것까지 승인할 것 같지는 않음.
악성 동작이나 오염된 세션을 막는 가장 큰 조치는 외부와의 접점을 엄격히 통제하는 것임. 나가는 통신을 모두 통제하면 노출되는 위험을 대체로 직접적인 파괴 행위로 좁힐 수 있음.
거부 동작을 제거한 모델을 쓰는 사람이 실행 도구에서는 엄격한 승인 모드를 켜 둘 가능성이 얼마나 될까?