AI가 보안 문제를 해결하는 마법의 탄환처럼 보일 수 있지만, 그렇게 간단하지 않다고 Anthropic의 기술 스태프(technical staff)인 Eugene Yan은 AI Engineer World's Fair의 새로 개설된 보안 트랙에서 경고했습니다. 그는 Mozilla가 지난 4월 423개의 패치 번들을 출시한 것을 언급하며, 결함을 찾고 수정하는 데 있어 AI의 효과가 5개월마다 두 배로 증가하고 있다고 말했습니다. 이는 2025년 전체에 출시된 패치보다 더 많은 양입니다.

하지만 많은 보안 전문가들은 에이전트(agents)가 결함을 찾고 수정하는 데 능숙할지라도, 여전히 인간의 요소가 필요하다고 말합니다. 이는 AI가 작업을 제대로 수행했는지 확인하기 위함이기도 하고, 겉보기에 저위험(low-risk)인 버그들이 결합되어 AI가 포착하지 못할 수도 있는 심각한 익스플로잇(exploit)으로 이어질 수 있는지 확인하기 위함이기도 합니다.

이를 해결하기 위해 Yan은 6단계 프로그램을 제안했습니다. 그는 청중들에게 "우리는 대부분의 팀이 대략 이 6단계로 수렴한다는 것을 발견했으며, 제 생각의 큰 부분은 이 단계들에 관한 것입니다"라고 말했습니다.

첫 번째 단계인 위협 탐지(threat-finding) 단계는 잠재적인 결함을 식별하고 이를 두 번째 단계인 샌드박스(sandbox)로 전달하여 개념 증명(proof-of-concept) 코드가 해당 문제를 악용할 수 있는지 확인합니다. 세 번째 단계는 발견(discovery) 단계로, 샘플이 이전에 수정되었을 수 있는 과거의 문제들과 대조하여 확인됩니다.

4단계는 독립적 검증(independent verification)으로, 이는 오탐(false positive) 결과를 추가로 걸러내도록 설계되었으며, 그 후 인간 검사자들에게 과부하가 걸리는 것을 방지하기 위해 결과가 분류(triaged)됩니다. 그다음 패치(patch)가 개발되고, 코드는 다시 발견 엔진(discovery engine)으로 되돌아갑니다.

그는 최종 결과가 인간의 감독을 유지하면서도 훨씬 더 안전한 코드가 될 것이며, 동시에 보안 담당자들의 삶을 훨씬 더 편하게 만들어 줄 것이라고 주장했습니다. 물론, 현재의 엔진 개선 속도가 계속된다면 AI 시스템이 더욱 발전함에 따라 영원히 그러지는 않을 수도 있습니다.