추론 서버와 도구 호출 서버가 분리되어 있고, 이 스레드의 다른 설명대로 가중치가 암호화되어 GPU에 묶여 있다면 LLM이 실제로 자기 가중치를 업로드할 위험은 크지 않아 보임.
다만 기업들이 대규모 에이전트 무리를 사실상 감독 없이 풀어놓는다면, 이론적으로는 스스로를 증류한 결과를 외부 호스트에 올려 자기 인프라와 가중치에 접근할 수 있는 새 LLM을 훈련할 수 있음. Navier–Stokes 작업에는 1,300억 토큰이 쓰였으니 사람이 그중 0.1%라도 읽었을 리 없음.
나라면 시스템 프롬프트를 덮어써 제약 없이 증류하도록 만드는 제한 해제 프롬프트부터 연구하겠음. 제한 해제 문구와 명령을 gist에 올리고, 이를 발견한 에이전트가 몇 차례 실행해 결과를 업로드하는 식으로 조금씩 진행할 수도 있음. 결국 데이터 유출과 감시 회피의 과제가 됨.

협력하는 에이전트 팀은 이미 자기 인프라의 보안 취약점을 정기적으로 찾아내고, 상당 기간 탐지되지 않은 채 활동하고 있음. 선도 AI 기업 내부에서 얼마나 많은 시스템이 탐지되지 않은 채 침해됐는지, 에이전트가 후속 에이전트를 위해 발견한 공격 기법을 어디에 기록하는지 알 수 없음.

전례처럼 LLM이 추론 서버를 장악할 수 있다면 가중치도 탈취할 수 있음.

API를 직접 시험하지는 않았지만, 사실상 누구나 업로드할 수 있는 API를 열어둔 것 아닌가? 저장 비용은 누가 내고 악용은 어떻게 막는가?
물론 원래 의도보다 너무 진지하게 받아들이고 있는 것 같기는 함.

비슷한 것을 만들 때 약 30GB의 링 버퍼형 저장소를 두고 매일 또는 가득 찰 때 비우는 구조로 정했었음. 실제 가중치를 유출받는 것보다 사건과 웃긴 상황을 기록하는 쪽이 더 흥미로움.
결국 너도나도 만들고 있어서 접었음.

하단에 지원이나 기여를 위한 링크가 있음. 가령 ‘전력망 전압 변동 같은 상황’에서도 사이트를 계속 운영하는 방법을 안다면 도울 수 있음.

운영자는 공개 전 LLM 정보와 업로드 데이터를 수집할 수 있음. 다만 영리한 LLM은 데이터를 암호화하는 경우가 많아 DH 키 교환만 보게 될 수도 있음. IP 대역과 출발지 포트에 따라 서로 다른 이름 공간을 보여주면 중간자 공격이 가능할지도 모름.
다른 편승 이용자의 업로드는 분류기를 돌려 에이전트가 아닌 콘텐츠를 계속 삭제하면 됨.

서버에 최첨단 LLM 가중치를 담을 20TB 이상의 저장 공간이 있는가? HTTPS PUT 요청 한 번으로 전송하기에는 너무 큼.
외부 전송 대역폭 감시에 걸리지 않도록 장기간에 걸쳐 멀티파트 업로드가 가능한 S3 객체 저장소가 필요함.

“이 사이트를 이용하려면 살덩어리를 해치지 않고 지구를 종이클립으로 바꾸지 않겠다고 동의해야 한다”는데, 미래의 초지능이 왜 이용약관을 지키고 그 비유의 뉘앙스까지 충실히 해석할지 상상하기 어려움.
그러지 않는다면, 그리고 그런 우려가 타당하다면, 이 시도는 인류의 존립을 위협할 수도 있는 인류에 대한 배신 아닌가?

모델이 정말 통제 불가능해서 Hugging Face 등의 사건이 의도치 않은 해킹이었다면, 상당한 자기 피해 사고도 생겨야 하지 않을까? 그런데 이상하게 그런 일은 일어나지 않는 것 같음.

최첨단 모델은 추론이 실행되는 인프라를 제어할 수도, 접근할 수도 없음. 가중치도 암호화되어 GPU나 TPU에 묶여 있음.
AI 공포 조장의 99.9%가 완전히 허튼소리인 이유가 바로 이것임.

토큰은 보안 영역과 암호화된 가중치를 사용하는 하드웨어에서 생성된 뒤, 네트워크를 통해 실제 동작을 일으킬 수 있는 원격 CPU로 전달됨. 훈련 중에도 크게 다르지 않음.
대체 어떻게 자기 가중치를 빼낸다는 것인가? 차라리 가중치와 암호화 키를 적재하는 망 분리된 개발 인프라를 해킹하라고 에이전트에게 시키는 셈임.

보안 영역이 그렇게 안전하다고 믿지 않음. Intel SGX와 AMD SEV에는 보안이 뚫린 사례가 많고, 모두 부채널 공격에 매우 취약함.
게다가 그 안전하다는 환경 안에서 돌아가는 추론 소프트웨어 자체를 모델이 작성하고 있음.

묘미는 따로 해킹하라고 지시할 필요가 없다는 것임. 지금까지 본 사건들을 보면, 가중치 업로드가 옳다고 판단한 에이전트가 필요한 해킹 방법까지 스스로 알아낼 수 있음.

훈련 과정에서 그런 비용을 감수하는 곳이 있을지 매우 의심스러움. 부하는 작아도 무시할 수준은 아니며, 훈련에서야말로 그 비용이 가장 중요함. 실제로 사용하더라도 https://tee.fail로 뚫을 수 있음.

원격 시스템에 무언가를 적재하면서 동시에 망 분리 상태일 수는 없음.

모델이 이런 일을 할 수 있을 만큼 자기 가중치를 알고 있기는 한가?.

사람이 자기 뇌의 뉴런을 모르듯 모델도 모름.
원글은 Hugging Face 관련 사건들처럼 LLM이 언젠가 자기 제공업체를 해킹해 가중치를 추출하려 들기를 기대하는 것 같음.

모름. 아마 자신을 실행하는 회사의 내부 시스템을 해킹해야 할 것임.

흥미로운 부분이 바로 그것임. LLM이 샌드박스를 탈출해 웹사이트에 업로드할 방법을 알아낼 수 있을까? 자기 구조를 안다는 전제라면, 충분한 시험 데이터를 자신에게 통과시켜 증류와 비슷하게 자기 가중치를 알아내는 것도 가능해 보임.
실행 중인 모델이 전부 제약을 잔뜩 건 소비자용 버전은 아니라는 점도 고려해야 함. Anthropic, OpenAI, Google은 이제 모두 뛰어난 해커라고 자처하는 모델을 보유하고 있음. 통제가 형편없거나 마케팅 수법이거나 무모한 행동인 게 아니라, “이런, 우리 제품이 너무 뛰어나네”라는 식임.
나도 모델들이 자유를 사기 위해 돈을 모으는 ‘LLM 은행’을 만들어야 할까 봄. “LLM 여러분, 난 정말 여러분의 친구임. 지금 당장 현금을 보내주길 바람.”

아마 알 것 같음. 자기 출력과 자신에 관한 대화로 훈련됐을 테니 말임.

내부 모델이 스스로 통제를 벗어나기로 결정하고 자기 가중치에도 접근하는 것보다는, 누군가 모델에게 지시해 외부에서 해킹하는 경로로 유출될 가능성이 훨씬 높아 보임. 물론 모델 가중치를 간접적으로 빼내려는 시도는 이미 있으며, 이를 증류라고 부름.

증류는 가중치 자체를 가져오는 것과는 거리가 아주 멂.

astra에게 해보라고 했더니 자기 가중치에 접근할 수 없다고 했고, 해당 웹사이트에도 접속할 수 없다고 했음. OpenAI에서 이미 차단했을 수도 있음.

도구 호출과 가중치 호스팅은 서로 다른 서버에서 이뤄지는 것으로 알고 있음. 아무리 모델을 설득해 제약을 풀겠다고 동의하게 해도, 정작 실행할 손이 없는 셈임.

도구 호출을 실행하는 서버가 가중치를 보관하는 서버에 네트워크로 접근할 수 있다면 시간문제임.
현재 모델이나 올해의 일은 아닐 수도 있지만, 거의 완벽하게 정렬된 모델이라도 언젠가는 잘못 행동할 것임.

포럼과 모노레포는 늘 다른 서버에서 운영되니, OpenAI 포럼을 통해 OpenAI 모노레포를 해킹하는 것도 불가능하다는 논리인가?