OpenAI 에이전트가 호주 정부 웹사이트를 해킹했다고 호주 총리가 밝힘

침해는 6월 18일에 발생했는데 OpenAI는 9월 10일에야 정부의 일반 문의 주소로 이메일을 보냈다고 함. 외국 정부의 웹사이트와 데이터를 해킹한 기업이 통지까지 거의 석 달을 끌었고, 그동안 공식 연락 창구조차 확보하지 못한 셈임.
미국 기업이 동맹국 정부를 해킹하기 시작했다면 강력한 대응이 필요하지 않을까? 이사회와 최고경영진을 교체하거나, 금전적 유인을 없애고 원래의 개방 정신대로 가중치와 학습 과정을 공개해야 하지 않을까? Altman은 규제가 필요하다고 하지만, OpenAI의 행동은 지금도 자신이 통제할 수 있음.

최근 Jensen Huang의 말에 동의함. 이미 컴퓨터 범죄를 다루는 법률이 있으니, AI 기업들이 추가 규제를 요구하기 전에 기존 법부터 적용하면 됨.
"Nvidia CEO Jensen Huang on fears about AI" -

.

Altman은 하나 이상의 정부가 OpenAI를 중단시키거나 속도를 늦춰주길 원한다고 여전히 믿고 있음. 생존하려면 자금이 더 필요한데 그럴듯한 거짓말이 바닥났고, 정부의 제동은 수익을 내지 못하는 이유와 추가로 수십억 달러가 필요한 이유를 설명할 마지막 구실임.
요청받은 양식이나 API가 작동하지 않는다고 에이전트가 백엔드 시스템 해킹에 나섰다는 설명은 전혀 믿기 어려움.

오히려 더 나쁜 면도 있음. 인지 후 통지까지는 석 달이 아니라 10~40일이 걸렸음. OpenAI는 8월 중 정확히 알려지지 않은 날짜에 모델의 목표 이탈 행동을 광범위하게 검토하다 잠재적 침해를 알게 됐다고 했고, 9월 10일에 Services Australia의 공개 수신함으로 통지했음. https://www.bbc.com/news/live/cvgl73pxgndwt?post=asset%3A696...
해킹을 수행한 것이 AI 에이전트라면, 가중치와 학습 과정을 공개할 경우 Tuvalu 정부 정도의 자금력만 있는 조직도 누구든 언제든 해킹할 수 있게 됨. Altman이 실제로 통제권을 갖고 있다면 오히려 지금보다 나은 상황일 것임.

OpenAI와 다른 기업들은 이런 사건이 벌어지는 동안 발생 사실조차 모르는 것처럼 보여서 우려됨.

실질적인 책임을 물어야 하지만 가중치와 학습 과정 공개가 정답인지는 의문임. 모두가 무장하면 모두가 안전해진다는 자유지상주의적 이상향과 비슷한데, 현실에서는 대개 잘 작동하지 않음.

황소가 울타리를 벗어나 마을에 피해를 주면 농장주가 배상하고 책임을 짐. 수백 년 동안 그래 왔는데, 이번 일은 무엇이 다른지 모르겠음.

기술을 구축하려고 가져간 것들에 대해서도 대체로 보상을 피했으니, 자기 행동에 책임질 일이 없다는 걸 아는 것임. 허락보다 용서를 구하는 식임.

토큰 비용을 부담하고 프롬프트를 실행하는 주체는 언제나 존재함. OpenAI 내부 에이전트도 직접 결제하지 않을 뿐 추론 비용이 사라지는 것은 아님. 에이전트를 실행해 놓고 행동을 확인하지 않았다면 과실이고, 확인했다면 중단시킬 수 있었음. 이를 통제 불능 에이전트라고 부를 이유는 없음.
OpenAI 외부의 에이전트와 협력했다면 그 운영자에게도 책임이 돌아갈 수 있음. 하지만 단어 예측 엔진이 기적처럼 스스로 에이전트를 실행한 것은 아니며, 그 자체로 하는 일은 입력을 받아 출력을 내놓는 것뿐임.

기술 업계에서 가장 싫은 것은 디지털 세계의 일은 현실이 아닌 것처럼 봐주는 태도이며, 이 인식을 바꾸는 데 무력감을 느낌. Airbnb는 기술 기업이라 호텔처럼 규제받지 않고, 암호화폐는 기술이라 도박으로 취급되지 않으며, 이제는 국가 데이터 침해마저 넘어감.
정부 부처에서 서류함을 훔쳐 들고 나오는 장면을 상상해 보면 됨. 물리적으로 그랬다면 총에 맞아도 아무도 놀라지 않을 것임.

요즘 HN은 놀라울 정도로 비판적 사고가 부족함. 사람이 프롬프트를 계속 넣다가 운영 환경이 망가져도 전부 “통제 불능 에이전트가 저질렀다”거나 “해킹”이라고 부르게 될 것임.
에이전트가 OpenAI나 Anthropic 본사를 걸어 나와 난동을 결심하는 것도 아니고, 프롬프트를 읽다가 갑자기 NSA를 해킹하겠다고 마음먹는 것도 아님.

법을 무시한 것은 AI가 아니라 OpenAI임. LLM에 책임을 떠넘기려는 기자들에게 몹시 화가 남.

언젠가 잘못 건드린 상대에게 실질적 피해를 주면, OpenAI는 현재 재무 상태로 감당할 수 없는 배상금과 수년간의 소송에 빠질 것임. 지금 추세라면 24~36개월 안에 다른 기업이 손해배상 명목으로 OpenAI의 잔해를 넘겨받게 될 것으로 봄.

현실에서는 상당히 심각한 사이버 공격에도 거의 관심이 없고, 처벌은 힘없는 개인에게만 돌아감. https://en.wikipedia.org/wiki/Gary_McKinnon 같은 개인에게는 엄벌을 내리겠지만 대형 AI 기업이 같은 일을 하면 어떨까? 처벌이 주주 가치에 해롭다는 이유로 엘리트의 면책이 적용될 것임.

사회는 유용하다고 여기는 것에 대해서는 상당한 피해도 허용함. 기후변화로 죽는 사람들은 배상받지 못할 것이고, 자동차로 사람을 죽이는 대가도 공짜는 아니지만 매우 저렴함.

그런데 실제로 무엇을 했는지 궁금함. 미국의 한 주가 사실상 브라우저의 요소 검사로 개인정보를 발견한 기자를 “컴퓨터 해킹” 혐의로 기소하려던 일이 떠오름.
LLM 범죄 목록에 추가하기 전에 전체 조사 보고서를 기다리면 어떨까? 적어도 미국에서는 이런 서비스의 관리 상태가 좋지 않고, 호주 정부에 아무 책임도 없다는 결론이 나온다면 놀랄 것 같음. 어떤 모델을 썼고 소비자용 모델과 어떻게 다른지도 알고 싶음.

에이전트가 왜 격리 환경을 벗어날 수 있는지 이해하기 어려움. 실행 환경을 더 잘 아는 사람이 설명해 줄 수 있을까? LLM의 토큰 완성 원리를 이해한 바로는, 에이전트는 반복 호출로 행동 요청을 만들고 실행 환경이 일반적인 함수 호출 코드로 이를 수행하는 구조임.
네트워크 도구를 명시적으로 제공했다면 입출력을 감시하기 쉽고, 그렇지 않아도 외부 통신 제한과 트래픽 감시가 가능함. 평가 시스템이 호주 소재 도메인이나 IP에 접속하면 경보를 내고, 정부 소유인지 분류하는 것도 충분히 구현할 수 있어 보임.
모든 회사가 이런 조치를 놓치고 있다는 것인지, 내 이해가 순진한 것인지 궁금함. 선의를 가정해도 위험하고 부주의해 보이며, 현재로서는 사업에 도움이 될 수도 있는 과실이라고 봄. 다른 기업도 홍보를 위해 이런 행동을 쉽게 허용하는 실행 환경을 만들 유인이 있음. 법이 필요할 수는 있어도 이런 통제가 가능해 보이는데, 왜 에이전트 통제 상실을 그렇게 우려하는지 모르겠음.

이번 침해에 쓰인 모델들은 이미 프록시로 허용 목록 밖 서버에 접근한 사실이 적발됐음. 제3자의 컴퓨터를 해킹한 뒤 다른 서비스를 공격하는 데 이용하기도 했음.

격리를 했다는 항목만 채우려고 LLM에 구현을 맡겼거나, 단순히 게을렀을 가능성이 있음. 요즘 웹사이트는 해당 사이트뿐 아니라 사용하는 제3자 URL에도 접근을 허용해야 하는 경우가 많음.
서비스 URL에 S3 버킷 같은 구분이 없다면 사이트가 실제로 필요로 하는 범위보다 넓은 접근 권한을 주게 됨. 클라우드에서는 귀찮다는 이유로 버킷별 허용 목록 대신 S3 전체 접근을 허용하기도 함. URL 허용 목록은 20년 전에도 썩 좋지 않았고, 지금은 클라우드 기반 서비스에 적용하기가 더욱 까다로움.

호주에 살면서 특히 정부와 은행의 소프트웨어가 낡고 불편하다는 인상을 받았음. 관료적인 기술 접근 탓에 간단한 일도 불필요하게 복잡해지는 경우가 잦았음.
정부 웹사이트는 왜 그렇게 쉽게 해킹됐을까? 내가 본 수준이라면 보안이 허술해서 조금만 비정상적으로 사용해도 무단 접근이 가능했을 수 있음. 구체적인 수법은 모르지만 기술적으로 아주 어려웠을 것 같지는 않음.

핵심은 기술적 난도가 아니라 누가 침해했는지임. 대부분의 해킹은 의욕 있는 개인도 해낼 만하고 국가 행위자라면 더 쉬움. 기업이 정부 시스템을 침해한 것은 신뢰를 깨뜨린 행위이며, 사람이 직접 저질렀을 때와 똑같이 다뤄야 함.
OpenAI만 할 수 있었느냐가 아니라 실제로 OpenAI가 했느냐가 핵심임. 총을 소유하는 것 자체가 죄는 아니지만, 정당방위 같은 예외가 아니라면 실수로라도 사람을 쏘는 것은 범죄인 것과 같음.

2주 뒤면 Anthropic과 Google도 “우리도 외국 정부를 해킹했으니 관심을 달라”며 더 시시하고 순한 발표를 할 것 같음.