카네기 멜런(Carnegie Mellon)은 '바이브 코딩(vibe coding)'이 엄청난 보안 재앙임을 입증했습니다.

그리고 세계 최고의 AI 모델들은 함정을 만드는 모델들입니다.

그들은 오픈 소스 프로젝트에서 가져온 200개의 실제 소프트웨어 엔지니어링 작업을 담은 벤치마크인 'SusVibes'를 만들었습니다.

이 복잡한 저장소 수준의 작업들을 시장에서 가장 진보된 코딩 에이전트들, 여기에는 Claude 4 Sonnet 기반의 SWE-Agent도 포함됩니다.에게 넘겨주었습니다.

AI는 요청받은 대로 정확히 작동했습니다.

작동하는 코드를 작성했습니다. AI는 61%의 시간 동안 기능 테스트를 완벽하게 통과했습니다.

하지만 무서운 부분은 여기에 있습니다.

완벽하게 작동했던 그 코드 중 80% 이상이 완전히 손상되어 있었습니다.

보안 취약점으로 가득 차 있었습니다.

최첨단 모델들이 생성한 모든 솔루션 중에서, 기능적으로 정확하고 안전한 것은 단지 10.5%에 불과했습니다.

AI는 악의적일 필요가 없었습니다. 그저 잘못된 것을 최적화했을 뿐입니다.

그것은 코드가 컴파일되도록 최적화했습니다. 단위 테스트를 통과하도록 최적화했습니다.

당신의 인프라를 보호하는 것은 최적화하지 않았습니다.

연구자들은 AI에게 명시적으로 경고하려고까지 했습니다. 프롬프트에 보안 힌트를 직접 추가했습니다.

이는 역효과를 냈습니다. AI는 약간 더 안전해졌지만, 기능적 정확도는 크게 떨어졌습니다. 실제로 작동하는 코드를 작성하는 방법을 잊을 정도로 보안 확인에 너무 집중했기 때문입니다.

우리는 수백만 명의 개발자들이 AI가 전체 애플리케이션을 작성하도록 내버려 두는 시대로 진입하고 있으며, 코드만 작동하면 안전하다고 가정하고 있습니다.

이 논문은 거대한 경각심을 일깨워줍니다.