웹페이지는 AI 에이전트에게 정보를 알려주는 역할이어야 하며, 몰래 주인이 되어서는 안 됩니다.

웹페이지는 AI 에이전트에게 정보를 제공할 수는 있지만, 조용히 그를 지배하는 존재가 되어서는 안 됩니다.

약 20만 달러 규모의 모스 부호 사건에서 Grok은 숨겨진 이체 명령을 번역하여 Bankrbot에 전달했고, 이는 토큰을 이동시켰습니다.

번역 자체는 성공적이었습니다. 문제는 공개 게시물의 내용이 실제 돈과 관련된 행동에 영향을 미쳤다는 점입니다.

이것이 바로 프롬프트 인젝션(prompt injection)입니다. AI가 읽어야 하는 자료 속에 지침을 숨기는 것입니다.

어려운 부분은 공격자들이 한 모델과 하나의 필터를 계속 테스트하여 우회할 방법을 찾아낼 수 있다는 것입니다.

@GenLayer는 그레이박싱(Greyboxing)이라는 다른 경로를 취합니다. 각 검증자(validator)는 자체의 비밀 방어를 사용하여 들어오는 텍스트를 스크리닝하고 재작성한 후에야 자신의 AI 모델이 이를 보게 됩니다. 만약 하나의 검증자가 속더라도, 나머지 검증자들이 이를 거부할 수 있습니다.

이 구분이 중요합니다. 시스템은 모든 AI가 트릭을 완벽하게 인식할 필요는 없습니다. 단지 성공적인 한 가지 트릭만으로는 결과를 결정하기에 불충분하도록 만드는 것입니다.

만약 당신이 돈을 사용할 수 있는 에이전트를 구축한다면, 가장 먼저 어떤 안전장치(safeguard)를 주장하시겠습니까? 신뢰하는 수신자 목록, 인간의 승인, 아니면 독립적인 검증입니까?

지갑을 가진 모든 AI 에이전트는 재치 있는 트윗 하나만으로도 비워질 수 있습니다.

그레이박싱은 GenLayer가 그 트윗이 아무 데도 가지 못하게 하는 방식입니다. https://t.co/Q2oFtB3kq5