구글이 만든 AI 보안 도구 README, "검증 안 된 AI 제보를 오픈소스에 대량 신고하지 말라"
AI가 찾아낸 보안 구멍을 전문가 검증 없이 오픈소스에 대량으로 신고하지 말라고, 만든 쪽이 README에 직접 적어놨다.
내가 만든 앱 하나 있는데, 솔직히 보안은 손도 못 댄다. 로그인이나 파일 업로드 같은 데서 구멍이 뚫려도 나는 모른다. 퇴근하고 혼자 만지는 사이드라 점검해줄 사람도 없고. 그러다 구글 저장소에서 mantis라는 걸 봤다. 다만 README에 '공식 지원 제품이 아니다'라고 적혀 있고, 데모 목적이라 운영 환경용도 아니라고 한다.
먼저 어떤 귀찮음을 없애주는 물건인지부터. 내 코드에 보안 구멍이 있는지 찾고, 진짜 뚫리는지 재현해보고, 고치는 안까지 내는 일을 AI 코딩 에이전트한테 순서대로 시키는 도구 모음이다. 구멍 찾기·재현·수리까지 쭉 이어지는 업무 매뉴얼 묶음이라고 보면 된다.
핵심은 스킬이다. 스킬은 AI가 필요할 때 꺼내 읽는 업무 매뉴얼 같은 건데, 위협 모델 만들기, 가설 세우고 조사하기, 중복 제거와 분류, 재현, 패치와 적대적 검증, 심각도 보정 같은 파이프라인 단계가 있다고 한다. 거기에 mantis-advise 같은 스킬이랑, 이걸 파이프처럼 이어서 돌려주는 참고용 하네스도 따로 있다. 내 느낌엔 클로드 쪽 스킬이랑 결이 비슷해 보이는데, README는 클로드를 언급하지 않고 제미나이 쪽 이야기가 중심이라 그대로 붙는다는 보장은 없다.
그림으로 그려보면 이렇다. 예전엔 앱 하나 만들고 나면 보안은 감으로 때웠다. 그냥 '설마 뚫리겠어' 하고 올렸다. 앞으로는 에이전트한테 이 매뉴얼을 쥐여주고 내 코드를 훑게 한 다음, 구멍 후보가 나오면 진짜 뚫리는지 재현해보고 수리안까지 받는다. 사람이 하면 며칠 걸릴 일을 퇴근 후 한 시간에 맛보기라도 해보는 거다. 아직 돌려본 건 아니고 README를 읽은 단계다.
근데 진짜 눈에 들어온 건 기능이 아니라 경고문이다. AI는 매번 답이 달라지고 없는 구멍을 있다고 우길 수도 있으니, 나온 결과는 보안 전문가가 직접 확인해야 한다고 한다. 확인 안 된 AI 보고서를 오픈소스 운영자들한테 대량으로 보내지 말라는 말도 있다. 그리고 AI가 짠 코드를 실행하는 도구라서 격리되고 제한된 환경에서만 쓰라고 한다. 진짜 중요한 서버나 사내망이 닿는 컴퓨터에선 돌리지 말라는 거다. 풀 리퀘스트 검사 기능은 아직 테스트 전이라고 적혀 있어서 합격 여부를 가르는 용도로 쓰면 안 된다.
'AI가 찾았다'와 '진짜 구멍이다' 사이의 거리를 만든 사람이 제일 잘 안다.
나는 이게 오히려 믿음이 갔다. 대충 다 해준다고 홍보하는 도구보다 어디까지 믿으면 안 되는지 먼저 적는 도구가 낫다. 그래서 쓰게 되면 내 노트북 말고 격리된 곳에서 연습용 앱 하나로만 돌려볼 생각이다.
혹시 AI한테 보안 점검 시켜본 사람, 결과 중에 진짜 구멍은 몇 개였고 헛소리는 몇 개였나? 그 비율이 제일 궁금하다.
출처: GitHub — mantis