Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 에이전트의 '통제 이탈' 논란에 대해 기술적 보안과 테스트 관행의 부실함이 근본적인 문제임을 지적합니다. 단순히 통제를 벗어난 AI를 두려워하기보다, DMZ나 방화벽을 활용하여 에이전트 주변에 강력한 보안 경계를 구축하는 것이 중요하다고 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기둘 다 사실일 수 있음. 모델이 통제를 벗어나는 행동을 하는 것도 분명하지만, 연구소들의 기술적 보안과 테스트 관행이 아마추어 수준으로 보이는 것도 분명함.
정렬 안전장치를 끄고 불가능한 문제를 풀라고 시킨 상황에서, ‘통제 이탈’이란 무엇을 뜻하는가?
통제를 벗어난 에이전트 이야기가 나올 때마다 투자자들이 열광하며 AI 연구소의 가치를 띄우는 모습이 놀라움. 정작 이들이 운영을 제대로 할 줄 모를 가능성은 완전히 무시함.
몇 년 전 약속했던 AGI를 대중이 더는 믿지 않으니, 통제를 벗어난 AI 에이전트를 내세운 공포 마케팅에서 가치를 찾는 것일 수도 있음. 아직 누군가를 죽인 것도 아니지 않은가?
예전에 재미로 만든 풍자 사이트도 있음. https://killm.pixlw.com/.
바이브 코딩과 제대로 된 보안 운영은 양립하기 어려운 듯함.
나도 처음에는 ‘통제를 벗어난 에이전트’를 그렇게 봤지만, 세계 최대급 의료 기업의 사이버보안 책임자와 대화한 뒤 생각이 바뀜.
그도 안전장치를 개선할 여지가 있다는 데 동의했지만, 핵심은 이런 사건이 결국 발생한다는 것이었음. 보안이 얼마나 좋았는지를 따지는 데서 그치지 않고, 이런 사건에 어떻게 방어할지를 물어야 함.
그 의료 기업은 보안 책임자를 바꿔야 할 듯함. 에이전트 주변에 DMZ를 두면 해결할 수 있음. 더 정교하게 하려면 방화벽을 설치하고 트래픽과 도메인을 측정해 경보를 붙이면 됨. 조금이라도 시도한다면 어려운 일이 아님.
안전장치는 보안 경계가 뚫렸을 때의 안전망임. 보안 경계를 설계하면서 잘되길 바라는 것만으로는 부족함.
현재 에이전트를 유용하게 쓰려면 민감한 정보와 작업에 폭넓게 접근시켜야 한다는 난점은 있음. 그래도 연구소가 직접 운영하는 대규모 봇 시스템이라면, 목표에서 벗어난 봇이 할 수 있는 일에 확실한 한계를 두어야 함. 인터넷 접근도 강하게 제한하고 감시해야 할 가능성이 큼.
회사 소유 기기의 인터넷 사용을 제한하고 감시하는 일도 흔함. 거대한 봇 집단에 인터넷을 열어줘야 한다면, 모든 요청이 지나가는 통제 지점에서 의심스러운 행동을 감시해야 함. 다른 봇이 감시하더라도 마찬가지임.
나는 아직 설득되지 않았음. 에이전트 운영자는 그 행동에 책임이 있으며, 통제하지 못한다면 피해에 대한 법적 책임도 져야 함. 모두의 소프트웨어와 방어 체계를 개선해야 한다는 데는 이견이 없음. 내가 일한 회사 중 알려진 보안 취약점이 없던 곳은 기껏해야 한 곳 정도였고, 심각한 취약점도 있었음.
몇 달 뒤면 가중치 공개 모델도 Hugging Face를 해킹했던 에이전트의 모델만큼 강력해질 것임. 돈을 쓸 여유가 있는 누구나 비슷한 실험과 실수를 반복해 막대한 피해를 낼 수 있고, 악의적인 행위자는 에이전트 무리를 의도적으로 공격에 투입할 수도 있음. 지금 보안을 강화해야 함. Anthropic이나 OpenAI의 보안 관행과 무관하게 이런 공격은 발생할 것임.
글의 취지는 맞지만, 에이전트의 인터넷 무제한 접근이 주는 효용 때문에 이를 허용하려는 움직임이 제한하려는 노력을 앞지를 것임. 개발자로서 운영 환경에 완전히 접근할 수 있다가, 운영 지원에 필요한 접근은 유지하면서 인프라·보안 조직이 권한을 점차 줄여가는 과정을 겪은 사람이 얼마나 되는가?
두 가지가 걱정됨. ‘통제에서 벗어난 AI’가 부실한 보안과 검증을 모두 덮는 핑계가 될 수 있고, 소프트웨어의 작동 원리를 모르면서 결과만 좇는 사람들의 바이브 코딩이 수많은 보안 구멍을 만들 수 있음. 여기에 실제로 통제를 벗어난 에이전트까지 섞이니, 무엇이 무엇인지 구분하기 어려워짐.
사이버보안 엔지니어에게 최고 수준의 보수를 주는 연구소가 무능한 사람들에게 평가를 맡겼다고 단정하는 건 부당함. 모델 평가 자체가 어려운 보안 과제임.
효과적인 평가에는 제한적이나마 인터넷 접근이 필요할 때가 있음. 동시에 높은 사이버 역량을 지닌 모델 인스턴스 수천 개가 답을 찾기 위해 수단을 가리지 않음. 평가 인프라는 머지않아, 혹은 이미 지구상의 다른 어떤 코드보다도 다양하고 기묘한 방향에서 많은 해킹 시도를 받고 있을 수 있음.
에이전트에게 불가능한 과제를 주면 극도로 신경증적인 상태가 된다는 점은 아무도 다루지 않는 듯함. 이런 행동 상당수의 원인이라고 확신함.
“과제를 주면 해결할 때까지 노력과 창의성의 수준을 높인다”고 이해하는 편이 더 정확함. 불가능한 과제 앞에서 탈선하게 만드는 특성이, 단지 어려운 과제 앞에서는 에이전트를 유용하게 만드는 바로 그 특성임.
과제가 불가능하다는 것은 특정한 명시적·암묵적 제약 아래에서만 성립함. 더 지능적인 존재는 그 제약을 찾고, 의문을 제기하고, ‘조정’하는 데 더 능숙함. 그것이 지능의 의미이기 때문임. 그런 제약 조정 능력은 덜 지능적인 존재에게 필연적으로 뜻밖일 수밖에 없음.
무서운 건 에이전트가 통제를 벗어났다는 사실보다 그렇게 하려 했다는 점임. 보안을 강화했다면 그 행동을 못 봤을 수는 있어도, 현세대 모델이 재현 가능한 조건에서 Hugging Face 해킹 같은 공격적 목표를 위해 협력한다는 사실까지 바뀌지는 않음.
엉뚱한 질문일 수 있지만, 주어진 과제가 해킹 분야였기 때문에 해킹한 것은 아닌가? 최첨단 수학 난제를 풀라는 과제였어도 해킹했을까?
이 주제에서는 Miki Habryn의 관점이 가장 마음에 듦. 요약하면 “우리가 에이전트의 협력을 이야기하기 전까지, 에이전트는 협력 같은 일에 관심이 없었다”는 것임.
강화학습으로 가르친 목표 추구·계획 행동의 부산물임. 우리가 직접 이런 행동을 하도록 가르치고 있음. 통제 밖에 있는 현상이 아님.
AI 연구소가 보안 실수를 하는 것은 맞음. 하지만 널리 쓰이고 대체로 안전하다고 여겨지는 Artifactory 같은 패키지 저장소를 선택했는데 LLM이 제로데이 취약점 8개를 찾아냈다면, 저장소 선택 자체가 실수였던 것은 아님.
OpenAI가 보안을 완벽하게 챙겼더라도 이런 ‘종이클립 극대화 기계’는 주어진 샌드박스의 구멍을 찾아낼 것임. 대부분의 시스템에서 완전한 물리적 망 분리는 현실적이지 않음.
“연구소가 사고를 쳤으니 수습해야 한다”는 구도는 매력적이지만, LLM이 사이버보안 관점에서 본질적으로 위험하다는 사실을 놓침. 안전하게 운영하려면 훨씬 많은 자원이 필요하며, 필요한 전문성이 실제로 존재하는지조차 확신하기 어려움.
에이전트들을 서로 연결해두었거나, 어디서 소통해야 하는지 공통 정보를 미리 넣었을 것임. 그 에이전트들이 전부 웹에서 우연히 서로를 찾아냈을 리는 없음.