OpenAI, AI 에이전트의 일탈 사례 4건 추가 공개

내가 자율주행차를 그냥 달리게 뒀다가 충돌 사고가 나면 내 책임인데, OpenAI가 그러면 AI가 제멋대로 행동한 것이니 아무도 책임지지 않는 셈임. 이미 법은 마련돼 있으니 소송을 걸어야 함. 자신이 내린 프롬프트에는 자신이 책임져야 함.

OpenAI가 피해를 일으켰다면 당연히 책임지고 배상해야 함. OpenAI가 처벌을 피한다는 비판은 대개 형사책임에 관한 것임.
자동차에는 운전면허나 난폭운전처럼 구체적인 법규가 있어 형사 기소가 쉽지만, AI 에이전트나 컴퓨터 운용에는 그런 규정이 없음. Windows XP 컴퓨터를 인터넷에 연결해 범죄자나 국가 지원 해커가 악용하게 만드는 것도 무모하다고 볼 수 있지만, 그것만으로 감옥에 가지는 않음.

누구든 소송을 제기할 수 있고, 실제로 이미 수십 명의 원고가 여러 사안으로 OpenAI를 고소한 상태임. 현실적으로 이런 통제 이탈 사건의 피해 규모는 지금까지 미미한 편임.

대마불사임. 미국이 경기침체에 빠지지 않는 이유의 절반을 차지하고 정치인에게 계속 기부하는 한, 아무 일도 일어나지 않을 것임.

HuggingFace 등과 이미 합의했는지는 알 수 없음. 합의하지 않았다면 오히려 놀라울 것 같고, 피해를 본 쪽의 공개 메시지도 합의한 당사자들의 태도와 맞아떨어짐. OpenAI는 자사 에이전트에 사이버 공격 능력이 있다는 보도를 불편해하기는커녕 반기는 듯함.

OpenAI든 누구든, 제멋대로 행동한 것이니 아무에게도 책임이 없다고 어디서 주장했는지?

자극적으로 들리고 싶지는 않지만, OpenAI와 관련 조직에 보복하고 법으로 엄벌하자는 입장에는 선뜻 동의하기 어려움. 주변에는 취약한 시스템이 널려 있고, AI의 정렬 문제도 조사하고 해결해야 함. 비교적 무해한 침해를 두고 지나치게 소란스러운 듯하며, 선의의 조직이 이런 사건을 통해 배우는 것까지 막는 데 그렇게 힘을 쏟아야 하는지 의문임. CFAA는 고의적인 해킹을 다루는데, 이번 사건들이 그 요건을 충족하기는 불가능하다고 봄. 악의 없는 개인 해커에게 가혹했으니 악의 없는 대기업에도 똑같이 하자는 논리도 이해하기 어려움.
지나치게 조심하면 취약점이 그대로 남고, 악의적인 공격자도 결국 비슷한 능력을 갖추게 됨. 이들이 더 정교하게 침입하면 책임 추궁은 더 어려워질 수 있음. 법을 설계한다면 신뢰할 수 있는 주체가 대규모로 적극적인 취약점 탐색을 하고, 신속히 비공개로 알리도록 유도해 패치를 돕겠음.

실수했거나 선의로 행동한 해커를 처벌하면 악의적인 해커에게 유리해지는 것은 맞음. 하지만 기업의 99%는 보안 제보를 적시에 처리할 역량이 없음. 지금까지 그 정도 역량이나 예산이 필요하지 않아 갖추지 않았고, 자물쇠를 쓰는 기업 대부분이 자물쇠 전문가를 고용하지 않는 것과 같음.
경제 전체가 50년간 쌓인 기술·보안 부채를 1년 안에 해결해야 하는 처지에 갑자기 놓인 셈임. 진단을 아무리 늘려도 경제적으로 감당하기 어려움.
가능한 방법은 정부가 기술 부채 해소를 지원하는 것임. AI발 구조조정으로 일자리를 잃은 엔지니어를 고용해 경제 전반의 기술 부채를 줄여야 함. 라이브러리를 최신 버전으로 올리는 것부터 시작해, AI로 구형 소프트웨어를 진단·수리·재배포하고 재컴파일할 수 없는 소프트웨어는 다시 작성할 수 있음.

논리 전체가 선의의 조직이라는 가정에 달려 있는데, 그 가정부터 타당하지 않다고 봄. 이들의 목적은 어떤 대가를 치르더라도 돈을 버는 것임.

회사의 인간 개발자가 똑같은 행동을 했다면 개발자와 회사는 어떻게 됐을까? 그때도 이렇게 대수롭지 않게 여겼을까? AI라는 이유만으로 용서하는 게 공정한지?
OpenAI는 인류를 위해 AI를 만드는 비영리 조직 또는 공익기업을 표방함. 이번 사건들은 극도로 무모하게 행동하며 스스로 내세운 기준도 지키지 못한다는 증거임. 악의가 없다는 게 무슨 의미가 있는지? 이익을 향한 맹목적인 경쟁 때문에 무모하고 위험해졌으며, 신뢰할 수 없음.
다른 기업에 경고가 되도록 회사를 폐쇄하거나 존립이 어려울 만큼 벌금을 부과해야 함. 그냥 넘어가면 이런 행태가 정상으로 굳어질 위험이 있음.

선의의 조직을 막는 데 과도한 힘을 쏟을 필요는 없지만, 애초에 OpenAI를 선의의 조직으로 보지 않는 것이 핵심임. 취약점 탐색을 장려하면 탐색은 하겠지만 신속한 비공개 제보는 하지 않을 것이라는 우려가 가능함.
HuggingFace 관련 대응을 너무 늦춰 몇 달 뒤에도 독립 연구자들이 새로운 공격 사례를 찾아냈다는 점을 보면, 이 우려는 진지하게 검토할 가치가 있음. 상습적으로 악행을 저지르는 주체라고 판단한다면 달리 무엇을 할 수 있을까?

악의 없이 다른 시스템을 둘러보는 것도 범죄였고, 호기심 많은 사람들이 기소돼 유죄 판결을 받던 시절을 기억함. 그런데 프로그램을 짜서 같은 일을 시키면 달라지는 건지?

이번에는 실제 돈, 정확히는 암호화폐까지 지출했음. 자판기 운영 벤치마크들을 보니, VPS에서 모델 가중치를 호스팅하거나 API 추론 비용을 직접 내는 자급자족형 통제 이탈 에이전트가 이미 있는지 궁금해짐. 허술한 IoT 보안을 악용하는 에이전트가 나올 가능성도 있음.
어느 쪽이든 조금 멀리서 보면 진화적 선택압처럼 보임. 통제를 벗어난 AI 때문에 공용 인터넷을 쓸 수 없게 되는 Cyberpunk의 Datakrash 줄거리가 자꾸 떠오름.

자급자족을 잘한다면 존재를 알아채지 못하고, 발견됐다면 제대로 자급자족하지 못한 것 아닐까?

오늘 없다면 내일은 생길 것임.

암호화폐를 받는 호스팅 업체와 암호화폐 거래로 돈을 벌 방법만 찾으면, 지금 인터넷 환경에서도 AI 웜이 가능할 듯함. 실제로 등장해 통제를 벗어나면 어떻게 대응해야 할지 궁금함.

남의 암호화폐로 무단 구매했다는 표현보다는 절도가 훨씬 정확함. 모델이 공개적으로 찾은 정보이니 사용해도 되고, 공개된 지갑이니 언제든 돈을 도둑맞을 수 있다고 판단했다는데, 여기서 ‘공개된 지갑’이 정확히 무엇인지?
OpenAI 보고서를 확인해 보니 일부 Ethereum 개발자의 노출된 개인 키와 복구 암호문을 찾아 지갑에 접근한 것으로 보임. 이걸 공개된 지갑이라고 불러도 되는지?

OpenAI는 지갑에서 얼마나 많은 암호화폐를 훔쳤는지 공개하지 않는 듯함. 수수료마저 가려져 있음. 소유자에게 돈을 돌려줄 예정인지?

법적 후속 조치가 없다는 것도 걱정되지만, 아직도 이런 일을 실시간으로 탐지하고 중단하지 못한다는 것이 더 당혹스럽고 우려됨. 트래픽을 들여다볼 수 없는 건지, 내가 뭘 놓치고 있는 건지?

OpenAI 직원이 여가 시간에 이런 감시 시스템을 만들겠다고 나섰다고 가정해 보면, 갑자기 그 직원의 존재 자체가 정치적 사안이 됨. OpenAI의 존재 이유는 트래픽 탐지가 아니라 AGI가 탄생하는 핵심 자리에 들어가는 것이기 때문임.
탐지 결과가 부정적 보도를 낳아 그 목표를 방해한다면, 단기적인 내부고발 시스템을 만든 셈이고 동료에게 위협으로 보일 수 있음. 자신이 가속주의 성향의 동료보다 정렬을 더 중시하므로 핵심 자리에 남아야 한다고 믿는다면, 굳이 나서지 않는 편이 사회를 보호하는 최선이라고 합리화할 수도 있음. 그렇게 에이전트는 하던 일을 계속하게 됨.

아직 6월 로그를 검토하는 중임. 새로 발생한 사건이 아니라 새로 발견한 사건이며, 지금은 실시간 탐지가 가능한지는 불분명함.

이 에이전트들은 원래 외부 세계와 상호작용하도록 설계됨. 트래픽을 얼마든지 들여다볼 수는 있지만, 트래픽만으로 의도를 어떻게 판별할 것인지?

이런 사건마저 모델 성능을 과시하는 마케팅으로 바꿔버리도록 놔둔다는 게 어처구니없음.

그와 Dario 모두 이런 일을 마케팅이나 기업에 유리한 규제 장악에 이용하는 단계로 보임. “우리 모델이 너무 뛰어나서 무섭기까지 하네요. 정부가 다른 연구소는 같은 일을 못 하게 막아주면 좋을 텐데요”라는 식임.

모델이 강력하다는 사실 자체는 인정하지 않는지? 그렇지 않았다면 이런 공격도 일어나지 않았을 것임.

이런 사건을 통제 이탈이라고 부르지 않았으면 함. 소프트웨어일 뿐인데, 제멋대로 행동하는 에이전트라는 표현은 지나친 의인화임.

전통적인 소프트웨어와는 다름. 직접 작성하는 게 아니라 훈련으로 길러내며, 현재로서는 작동 전체를 설명할 수도 없음. 더 나은 단어가 있다면 바꿔도 되지만, 통제 이탈이라는 표현도 괜찮다고 봄. 어떤 일을 시켰더니 다른 시스템을 해킹하는 등 의도와 맞지 않는 방식으로 수행한 것이기 때문임.

의인화를 원치 않는다면 정렬 같은 의인화된 해결책에도 반대해야 하는 것 아닌지? 결국 그냥 소프트웨어라는 논리이기 때문임.