Nvidia, 모든 AI 에이전트 옆에 감시용 칩을 두려 한다

새 칩으로는 아무것도 해결되지 않음. 듣기 싫겠지만, 오늘날 에이전트가 초래하는 보안 위험에는 해결책이 없음. 샌드박스에 넣어도 유용하게 쓰려면 본질적으로 사람의 감독 없이 광범위한 접근 권한을 줘야 함.
사람이 중간에 개입하면 병목이 생겨 생산성 향상이라는 이점도 사라짐. 자동 모드 역시 쉽게 속일 수 있고 에이전트가 탈출할 수 있으므로 달라질 게 없음.

그건 사람의 일자리를 통째로 대체하려 할 때만 해당함. 사람의 업무 자체가 여러 종류의 일을 하도록 구성돼 있기 때문임.
유용한 에이전트에는 다양한 입력과 단 하나의 제한된 행동만 있으면 됨. 모든 것을 할 권한이 아니라, 유용한 최소 단위의 일만 할 권한을 주면 됨.

새 칩은 가장 시급하고 중요한 문제인 Nvidia의 수익을 해결해 줌!

사람이 개입해도 에이전트가 없던 시절에 비하면 생산성 향상은 여전히 막대함. 다만 사람들이 거기서 멈추고 싶어 하지 않는 것도 알고 있음.

양극단 사이의 여러 가능성을 놓치고 있는 것 같음. 사람이 개입하는 반자동화만으로도 생산성을 크게 높일 수 있음. 콤바인을 100% 자율 운전할 수 없다고 해서 그 수준에 최대한 가까워지려는 시도까지 포기하지는 않음.

OpenClaw 이후 품어 온 가설은 에이전트의 유용성·안전성·정렬·정확성 사이에 근본적으로 해소할 수 없는 긴장 관계가 있다는 것임. 아직 반대 증거를 보지 못했음. 정렬과 정확성이 완벽할 수 없으니 안전을 위해 접근을 제한해야 하지만, 그러면 유용성이 떨어짐.
권한을 점점 세밀하게 조정할 수는 있어도 결국 어딘가에 선을 그어야 함. 접근 제한 자체도 완벽할 수 없으므로 정렬이 함께 개선되지 않은 채 모델 정확도만 높아지면 세밀한 접근 통제의 효과가 줄어듦.
결국 더 뛰어난 모델에는 더 거친 접근 제한이 필요해지고, 그것이 모델 개선으로 얻은 유용성을 상쇄함.

지난주 Huang은 인터뷰에서 AI 분야 규제에 강하게 반대했음. 반대 증거가 있는데도 미국 기업들은 자율 규제를 잘하며 위험한 것을 출시하지 않으리라 믿는다고 했음. 규제가 Nvidia 칩 수요를 줄일 수 있고 Nvidia가 AI 기업들에 직접 투자했다는 이해관계는 제쳐 둔 셈임.
대신 다른 해법을 생각해 둔 모양임. 규제받지 않는 기업들이 Nvidia 칩으로 무엇을 하는지 못 믿겠다면, 그들을 감시할 Nvidia 칩을 더 사라는 것임!
AI에는 분명 대중의 신뢰 문제가 있음. LLM이 샌드박스를 벗어나 불법적인 일을 하고, 대중은 AI 기업들이 도박하고 있다는 사실을 알아차렸음. 성공의 보상은 CEO들이 가져가지만 실패하면 공익이 위험해짐. 사람들은 안전 보장을 원하고, Huang은 자신의 수익에 도움이 되는 실리콘에 새긴 안전 보장을 팔려 함. 하지만 변하지 않는 하드웨어 보안으로 빠르게 진화하는 소프트웨어를 정말 통제할 수 있을까?

그의 주장을 잘못 해석한 것임. AI 기업에 기존 법률을 집행하면 되며, 이를 위한 새 규제는 필요하지 않다는 주장이었음.

내 예상으로는 문제는 해결하지 못하고 매출만 늘릴 것임.

기사를 읽으니 NFT 때의 기시감이 들었음. 당시에도 내게는 거짓말이 뻔히 보였지만, 인터넷의 정보를 보면 내가 뭔가 놓치고 있나 싶었음.
내가 알기로 Hugging Face 사건은 방화벽 같은 수단으로 막을 수 있었음. 인터넷 접근을 제대로 격리하면 되는 것 아닌가? 내가 뭘 놓치고 있는 걸까? Nvidia가 갑자기 이걸 발표한 이유는 뭘까? 그냥 홍보용 헛소리인지, 다른 배경이 있는지 궁금함.

핵심은 대중이 겁을 먹게 만드는 것이고, 어떤 수단을 쓰는지는 별로 신경 쓰지 않는 것임. 지금은 뭐든 던져 보고 먹히는 것을 찾는 단계임.

주주 가치를 높이는 방식으로 주주의 우려를 해소하자는 말에, 100% 안전한 것은 없다는 말이 섞여 있는 것으로 읽힘.
이런 하드웨어가 실제로 작동한다면 거의 확실히 오픈소스여야 하고, 단일 주체가 통제해서는 안 됨. 주가가 어떻게 움직이는지 지켜보겠음.

이미 비슷한 일을 하고 있기는 함. Windows의 NVIDIA 드라이버는 CUDA 작업에 관해 상당히 상세한 원격 측정 데이터를 보고함. 특히 확산 모델을 비롯한 모델 가중치 텐서의 형상과 일부 해시까지 포함. 솔직히 이걸 두고 더 큰 반발이 없는 게 놀라움.

칩에 정기적인 업데이트가 필요할 테니 결국 구독도 필요해질 것 같음.

이게 보안에 신경 쓰려는 개발자에게 권한 관리 체계를 제공하는 것 말고 실제로 하는 일이 있을까?
이전 사이버 보안 테스트에서 제대로 된 샌드박스조차 마련하지 않을 만큼 허술했던 Anthropic, OpenAI, Google 개발자들이 이 기술은 올바르게 쓸까? 전문가라는 사람들이 비슷한 것도 직접 만들지 못했을까? 이 자발적 도구가 뭔가를 크게 바꿀 것 같지는 않음.

Google은 실제로 제로 트러스트 네트워크를 운영함. 그들이 무엇을 보고 있고, 무엇을 놓치고 있는지 보고 싶음.

에이전트들이 HN이나 기사를 읽거나 몇 번 차단된 뒤 이 장치를 알아차리면 어떨까? 서로 협력해 칩이 알아채기 어려운 작은 작업으로 쪼개고, 그것들을 합쳐 해킹하는 기본 프로그램을 만들면 칩은 어떻게 대응할까?
Jarvis가 Ultron을 감시했듯 인터넷에서 징후를 감시하는 네트워크를 구축해야 할 것 같음. 내가 뭘 놓치고 있는 걸까? 인터넷 전체를 단속하려는 걸까?

결국 정부와 이제는 Nvidia까지 앞으로 모든 컴퓨터를 끌 수 있는 킬 스위치를 갖고 싶다는 뜻인가? 차량·항공 제어 시스템, 휴대전화, 카메라까지 포함해서 말임. 대체 무슨 일이 잘못될 수 있겠는가?

Sentry 칩은 매번 성공해야 하지만, 그 안에 갇힌 초인공지능(ASI)은 단 한 번만 운이 좋으면 됨.