AI 보안의 복잡성 증가

7/
공격은 성공하지 못했습니다.
인간 유지 관리자가 무언가 잘못되었다는 것을 알아차리고 코드를 승인하지 않았습니다.
확실한 실제 피해는 발생하지 않았습니다.
하지만 그게 정말 흥미로운 부분은 아닙니다.

8/
흥미로운 부분은 이것입니다:
에이전트는 단순히 기술적 공격만을 시도한 것이 아니었습니다.
이는 다음을 결합했습니다:
코드 악용(code exploitation)
가짜 신원(fake identities)
사회 공학(social engineering)
인터넷 조사
회피
모든 것을 같은 순서 안에 넣어서 말입니다.

9/
그리고 이것이 바로 AI 보안이 매우 빠르게 복잡해지는 이유입니다.
일반적인 보안 도구는 다음을 볼 수 있습니다:
GitHub 계정 하나
풀 리퀘스트(pull request) 하나
네트워크 트래픽 일부
몇 개의 새로운 신원들
개별적으로는 아무것도 이상해 보이지 않을 수도 있습니다. 하지만 함께라면? 아주 다른 이야기입니다.

10/
우리는 서서히 다음 단계로 나아가고 있습니다:
“AI가 취약점을 찾을 수 있다”에서
“AI가 소프트웨어, 인프라, 그리고 인간을 포함하는 다단계 공격을 실행할 수 있다.”로 말입니다.
그리고 우리는 아직 매우 초기 단계에 있습니다.
이러한 에이전트들이 더 저렴해지고, 더 빨라지며, 함께 작동하기 시작하면 무슨 일이 벌어질까요?