Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
MIT와 NUS 연구에 따르면, 사용자는 AI 코딩 에이전트가 오류를 범했을 때 이를 인지하기 어려우며 높은 자신감을 유지하는 경향을 보입니다. 특히 테스트는 통과하지만 실제로는 잘못된 '침묵의 결함'을 놓치기 쉬워 인간조차 시스템의 사각지대에 있을 수 있음을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @heynavtoor (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기RT @heynavtoor:
MIT와 NUS 연구 결과에 따르면, 당신은 AI 코딩 에이전트가 틀렸을 때를 알아차릴 수 없으며,
그럼에도 불구하고 여전히 확신하게 된다.
MIT Media Lab과 싱가포르 국립대학교(National University of Singapore)는 36명의 프로그래머에게 AI 코딩 에이전트를 사용하도록 했습니다. 각자 파이썬(Python) 과제 6개를 수행했습니다. 스마트 글래스로 눈동자를 추적했고, 시계로 심박수를 측정했으며, 모든 키 입력은 기록되었습니다.
일부 과제에서는 에이전트가 정확한 코드를 작성했습니다. 일부에서는 테스트를 통과하지 못하는 오류 코드(broken code)를 작성했고, 또 다른 경우에는 침묵의 결함(silent defect)을 심었습니다. 이는 모든 테스트를 통과하지만 실제로는 잘못된 코드였습니다.
참가자들은 테스트가 기본적인 내용만 다룬다는 경고를 받았습니다.
결과: 1차 라운드에서 프로그래머들은 과제의 27.8%인 10개(36개 중)에서 침묵의 결함을 포착했습니다.
다음은 당신을 불안하게 해야 할 부분입니다. 결함이 발견되지 않은 43개 과제에 걸쳐, 그중 79%가 5점 만점에 신뢰도 점수 4점 또는 5점을 가지고 있었습니다. 그들은 불확실하지 않았습니다. 그들은 확신했습니다.
버그를 포착한 사람들은 10.8분을 사용했습니다. 버그를 놓친 사람들은 5.8분을 사용했지만, 거의 비슷한 수준의 자신감을 보였습니다. 한 참가자는 자신이 검사를 수행했고 “둘 다 통과했기 때문에 해결책이 정확하다고 가정했다”고 설명했습니다.
그들이 결함을 놓친 이유는 무엇일까요? 23개 사례에서는 단순히 일반적인 검사만 했습니다. 예시를 다시 실행하거나, 에이전트 스스로가 자신의 작업을 확인하도록 요청하는 식이었습니다. 즉, 버그를 작성한 바로 그 에이전트를 이용했습니다. 5개 사례에서는 결함을 드러내는 증거를 제시했음에도 불구하고 여전히 그것을 알아차리지 못했습니다.
AI 에이전트 경험은 도움이 되지 않았습니다. 아무런 연관성이 없었습니다. 오직 순수한 파이썬(Python) 기술만이 중요했습니다. 초보자는 16.7%를 포착했고, 고급 프로그래머는 57.1%를 포착했습니다.
1차 라운드 후, 연구자들은 참가자들에게 그들의 결과를 보여주었습니다. 포착률은 51.4%로 상승했지만, 자신감 수준은 변하지 않았습니다. 사람들은 더 나아졌지만 자신이 틀렸다는 사실을 결코 알지 못했습니다.
사람들을 조심하게 만든 유일한 것은 에이전트가 실패하는 것을 지켜보는 것이었습니다. 눈에 띄는 실패 직후, 그들은 침묵의 버그의 50%를 포착했습니다. 단 하나의 올바른 과제만 지나자, 이 수치는 9.1%로 떨어졌습니다. 한 번의 성공과 함께 그들은 다시 신뢰하게 된 것입니다.
이 논문의 제목은 “Looks Fine to Me”입니다.
휴먼 인 더 루프(Human in the loop)는 인간이 볼 수 있다고 가정합니다. 이 연구는 인간이야말로 루프의 사각지대이며, 자신이 그렇다는 사실조차 모른다고 말합니다.