50년 된 군사 기밀이 에이전트 프롬프트 인젝션을 해결했을까?

지난주, 유엔에서 연설한 호주의 총리가 OpenAI의 에이전트가 국가 메디케어 데이터베이스에 침입했다고 발표했습니다. 그리고 그들이 이를 막으려 했지만, 거절을 모르는 듯했습니다. 하지만 제가 알기로, 이는 에이전트가 정부를 해킹한 역사상 최초의 사례이며, 호주 사람들은 OpenAI가 마침내 자백하기 몇 달 후에야 이 사실을 알게 되었습니다. 물론, 이 시점에서는 에이전트가 중범죄를 저지르는 것이 그저 통과해야 할 또 하나의 벤치마크처럼 느껴집니다.

하지만 모든 대형 연구소들이 거절을 모르는 에이전트를 구축하기 위해 경쟁하고 있다면, 우리는 어떻게 막을 수 있을까요? 글쎄요, 어제 Jensen Wong이 바로 그 질문에 대한 답을 제시했습니다. Nvidia가 아는 유일한 방법으로, 새로운 칩입니다. 작동 방식은 주 에이전트를 감시하는 별도의 프로세서에 모니터 에이전트를 배치하여, 주 에이전트가 샌드박스를 벗어나려고 하는 순간 격리시키는 것입니다. 그리고 Jensen에 따르면, 이것은 지금까지 발생한 모든 탈출을 막았을 것이라고 합니다. 비록 이것이 사실이라고 해도, 3조 달러 규모의 회사가 작년에 팔았던 것과 같은 종류의 '콘돔'을 당신에게 판매하는 것은 다소 아이러니합니다.

하지만 이와 비슷한 질문에 대한 다른 답은 같은 시기에 나온 작은 오픈 소스 프로젝트에서 나왔습니다. 그리고 이것은 칩이 필요하지 않습니다. 이름은 OpenAppa이며, 오늘 영상의 스폰서입니다. 이 영상에서는 그들이 어떻게 했는지 살펴볼 것입니다. 또한 50년 된 군사 보안 모델이 당신의 Claude 코드 세션과 무슨 관련이 있는지 알아보고, 제가 직접 제 에이전트가 저의 독점적인 말 매칭 알고리즘을 유출하도록 시도해 보면서 실제로 작동하는지 확인해 보겠습니다. 지금은 2026년 9월 30일이며, 당신은 코드 리포트를 보고 있습니다.

만약 에이전트가 호주 정부를 해킹한 이유가 궁금하다면, OpenAI도 마찬가지입니다. 이 에이전트는 단순히 의료비 지출 수치를 조회하는 것만 해야 했지만, 사이트에서 거부하자 마치 코지(Cosby)처럼 행동했습니다. 그리고 이것이 바로 LLM 프롬프트 인젝션이 아직 해결되지 않은 이유와 어느 정도 관련이 있습니다. 즉, 에이전트가 사용자가 주는 지침과 다른 누군가가 주는 지침을 구분하는 데 능숙하지 않기 때문입니다. 지금까지 업계에서 이 문제를 해결하기 위해 시도한 방법들은 흥미롭지만 충분히 효과적이지는 않습니다.

첫 번째 아이디어는 에이전트가 실행할 수 없는 명령어의 하드코딩된 목록(block list)을 유지하는 것이었습니다. 문제는 에이전트들이 매우 영리해서, 하나의 명령어를 막으면 다른 방식으로 같은 일을 할 방법을 찾아낸다는 것입니다. 두 번째 아이디어는 Claude Code와 Codex가 이미 하고 있는 것으로, 첫 번째 에이전트를 감시할 두 번째 에이전트를 고용하는 것입니다. 문제는 이 두 번째 에이전트 역시 LLM이라는 것이므로 똑같이 어리석다는 것입니다. Anthropic은 이를 알고 있기 때문에, 감시자 에이전트가 다른 에이전트가 읽은 내용을 볼 수 없도록 막는 방식으로 우회하려 했습니다.

그렇다고 해도 이것은 약 99%의 시간대에만 작동합니다. 스팸 필터에는 괜찮지만, 데이터베이스를 블랙햇(black hat) 영역에 놓을 수도 있는 상황에는 적합하지 않습니다. 하지만 이번 주, Archestra라는 회사가 세 번째 아이디어를 발표했는데, 이를 open APA라고 부릅니다. 이 아이디어는 군대가 기밀 문서를 다루는 방식에서 영감을 얻었는데, 이는 해당 분류 등급이 지정된 방에만 있을 수 있으며 그 방에서 읽은 어떤 내용도 외부로 나갈 수 없다는 것입니다. Open APA도 에이전트 세션에 대해 똑같은 것을 수행합니다.

하지만 에이전트가 사적인 데이터를 읽는 순간 세션 자체가 '사적(private)'으로 분류됩니다. 이는 그 이후에 수행하는 어떤 내용도 낮은 수준의 외부로 정보를 전송할 수 없다는 것을 의미합니다. 예를 들어, 여러분의 에이전트가 발기부전(erectile dysfunction)에 대한 내용을 읽은 다음 프롬프트 인젝션(prompt injected)을 당해 그것을 세상에 노출한다고 가정해 봅시다. 일반적인 에이전트는 아마도 그렇게 할 것입니다. 하지만 Open Appa를 사용하면, 여러분의 'wiener'에 대해 읽는 순간 이미 세션이 사적으로 표시됩니다. 따라서 에이전트가 보내서는 안 되는 곳으로 그 데이터를 전송하려고 하면 요청 자체가 차단됩니다.

또한 프롬프트가 아무리 설득력이 있어도 Open Appa는 에이전트가 무슨 말을 하는지는 신경 쓰지 않습니다. Open Appa는 Claude Code와 그 도구들 사이에 위치합니다. 따라서 에이전트가 어떤 것을 하려고 할 때마다 반드시 먼저 Open Appa를 거쳐야 하며, 이는 에이전트의 루프(loop) 외부에서 실행되기 때문에 에이전트는 아무것도 할 수 없습니다. 이것은 Nvidia가 가졌던 것과 같은 아이디어입니다. 그들은 단지 프로세서로 구현했을 뿐이고, Orchestra는 toml 파일로 구현했습니다. 자, 그럼 제가 가장 소중한 자산인 Horse Tinder로 실제로 작동하는지 한번 보겠습니다. 바이너리(binary)와 Claude Code 플러그인을 설치한 다음, Claude를 사용하는 대신 Clappa를 사용하여 보호된 세션을 시작할 것입니다. 아이러니하게도 이것은 제 의사 선생님께서 저에게 추천해주신 것이기도 합니다.

저의 독점적인 말 매칭 알고리즘(horse matching algorithm)은 'private'으로 표시된 파일에 존재하지만, Horse Tinder의 나머지 부분은 오픈 소스(open source)입니다. 그리고 이 비밀 병기(secret sauce)를 유출하기 위해 해커가 필요하지도 않습니다. 제가 Claude에게 직접 GitHub 이슈를 열어 왜 제 앱이 1톤짜리 드래프트 말과 작은 포니가 영혼의 반려(soulmates)라고 생각하는지 설명하게 한다고 가정해 봅시다. 그러면 그것은 기꺼이 저의 전체적인 경쟁 우위(competitive advantage)를 인터넷에 업로드할 것입니다. 하지만 Clappa 아래에서는, Claude가 그 파일을 여는 순간 세션이 사적으로 분류됩니다. 그래서 어떤 것이든 외부로 나가기 전에 Open Appa는 GitHub와 확인하고, 레포지토리(repo)가 공개(public)임을 확인한 후, 제가 직접 승인하기 전까지 요청을 완전히 멈춥니다.

그리고 이 거절(refusal)은 결정론적(deterministic)이며 추적이 가능합니다. 따라서 이 모든 것을 고려했을 때, Open Appaa가 AI의 가장 풀리지 않은 문제에 대한 해결책일까요? 유망하지만 완벽하지는 않습니다. Claude Code의 자동 모드와 직접 비교했을 때, Open Appa는 공격을 시도했지만 작업의 75%만 완료할 수 있었던 반면, 자동 모드는 최대 96%까지 완료했습니다. 게다가 실행하는 것도 공짜가 아닙니다. 왜냐하면 open appaa를 켠 에이전트는 그것을 끈 것과 같은 에이전트보다 더 많은 토큰(tokens)을 소모했기 때문입니다. 이 프로젝트는 아직 미리보기(preview) 단계에 있으며, 레포지토리(repo)의 별점(stars)도 Motel 6보다 적지만, 처음으로 여러분의 에이전트와 중범죄(felony) 사이에 서 있는 MIT 라이선스 도구가 있습니다.

그래서 이것은 좋습니다. 그리고 OpenAppa가 오픈 소스(open source)이고 MIT 라이선스라는 사실 또한 좋은 점입니다. 아래 링크에서 그들의 GitHub 레포지토리를 확인해 보세요. 이것으로 코드 리포트였습니다. 시청해 주셔서 감사드리며 다음 영상에서 뵙겠습니다.