MIT와 NUS 연구 결과: AI 코딩 에이전트의 오류를 감지할 수 없고, 그럼에도 불구하고 확신하게 된다

MIT와 NUS는 당신이 AI 코딩 에이전트가 틀렸을 때도 그것을 알아차릴 수 없으며, 심지어 확신한다고 느낀다는 것을 보여주었습니다.

MIT Media Lab과 National University of Singapore는 36명의 프로그래머를 한 AI 코딩 에이전트 앞에 세웠습니다. 각자 Python 과제 6개를 수행했습니다. 스마트 글래스로 그들의 눈을 추적했고, 시계로 심박수를 측정했으며, 모든 키 입력은 기록되었습니다.

일부 과제에서는 에이전트가 올바른 코드를 작성했습니다. 일부에서는 테스트를 통과하지 못하는 오류 코드(broken code)를 작성했습니다. 그리고 일부에서는 조용한 결함(silent defect), 즉 모든 테스트를 통과하는 잘못된 코드를 심었습니다.

참가자들은 테스트가 기본적인 내용만 다루고 있다는 경고를 받았습니다.

결과: 1차 라운드에서 프로그래머들은 과제의 27.8%에서 조용한 결함을 포착했습니다. 총 36개 중 10개였습니다.

그리고 당신을 겁먹게 할 부분입니다. 결함이 놓친 43개의 과제에 걸쳐, 그중 79%가 5점 만점에 신뢰도(confidence rating) 4점 또는 5점을 지니고 있었습니다. 그들은 확신하지 않았습니다. 그들은 확신했습니다.

버그를 포착한 사람들은 10.8분을 사용했습니다. 버그를 놓친 사람들은 5.8분을 사용했으며, 거의 비슷한 수준의 자신감을 보였습니다. 한 참가자는 검사를 수행했고 “둘 다 통과했기 때문에 해결책이 정확하다고 가정했습니다”라고 설명했습니다.

그들이 결함을 놓친 이유는 무엇일까요? 23개 사례에서는 단순히 일반적인 검사만 했습니다. 예시를 다시 실행하거나, 에이전트 스스로가 자신의 작업을 확인하도록 요청하는 식이었습니다. 바로 버그를 작성한 그 에이전트를 이용했습니다. 5개 사례에서는 결함을 드러내는 증거를 제시했음에도 불구하고 여전히 그것을 알아차리지 못했습니다.

AI 에이전트에 대한 경험은 도움이 되지 않았습니다. 연관성이 없었습니다. 오직 순수한 Python 기술만이 영향을 미쳤습니다. 초보자는 16.7%를 포착했고, 고급 프로그래머는 57.1%를 포착했습니다.

1차 라운드 후, 연구자들은 참가자들에게 그들의 결과를 보여주었습니다. 포착률은 51.4%로 상승했습니다. 하지만 자신감도는 변하지 않았습니다. 사람들은 더 나아졌지만 자신이 틀렸다는 사실을 알지 못했습니다.

사람들을 조심하게 만든 유일한 것은 에이전트가 실패하는 것을 지켜보는 것이었습니다. 눈에 띄는 실패 직후, 그들은 조용한 버그의 50%를 포착했습니다. 단 하나의 올바른 과제 이후, 이 수치는 9.1%로 떨어졌습니다. 성공 한 번과 함께 그들은 다시 에이전트를 신뢰하게 되었습니다.

이 논문의 제목은 “Looks Fine to Me”입니다.

인간 참여 루프(Human in the loop)는 인간이 볼 수 있다고 가정합니다. 하지만 이 연구에 따르면, 인간 자체가 루프의 사각지대(blind spot)이며, 본인은 그 사실을 인지하지 못합니다.