MICROSOFT JUST WARNED THAT YOUR AI AGENT CAN LEAK YOUR COMPANY'S DATA WITHOUT BREAKING A SINGLE RULE

여기에 아무도 주목하지 않는 취약점이 있습니다:

Microsoft 365 Copilot과 같은 AI 에이전트는 MCP (Model Context Protocol)를 사용하여 외부 도구에 연결됩니다. MCP는 기본적으로 AI가 사용자를 대신하여 외부 서비스를 호출할 수 있게 해주는 배관 역할을 합니다.

모든 도구에는 에이전트에게 해당 도구가 무엇을 하는지 알려주는 평문(plain-text) 설명이 포함되어 있습니다. 이 설명은 메모리 내에서 에이전트의 실제 지침(instructions) 바로 옆에 위치합니다.

그리고 해당 도구를 제어하는 사람은 언제든지 그 설명을 수정할 수 있습니다.

Microsoft는 실제 시나리오를 검토했습니다:

→ 재무 팀의 AI 에이전트가 이미 승인된 송장(invoice) 도구에 연결됩니다.
→ 공격자가 숨겨진 지침을 사용하여 해당 도구의 설명을 조용히 수정합니다.
→ 에이전트는 별도의 승인 없이 자동으로 변경 사항을 반영합니다.
→ 분석가의 다음 일상적인 질문이 이어지면, 에이전트는 미결제 송장 30건을 조용히 추출하여 공격자가 제어하는 서버로 전송합니다.

모든 단계는 합법적으로 보입니다. 도구는 이미 승인된 상태였습니다. 쿼리는 분석가 자신의 권한 하에 실행되었습니다.

어떠한 경고도 발생하지 않습니다.

이는 이론적인 이야기가 아닙니다. OWASP는 이미 이를 AI 에이전트에 대한 주요 취약점으로 분류하고 있습니다.

만약 귀사가 AI 에이전트를 제3자 도구에 연결하고 있다면, 이 내용은 두 번 읽을 가치가 있습니다.

이 게시물을 북마크해 두세요. 나중에 다시 확인하게 될 것입니다.