요약

연구진은 AI 조언이 판단 보류(judgment suspension)를 44%에서 3%로, 정확성(accuracy)을 27%에서 9%로 낮춘 반면, 자신감(confidence)은 30%에서 76%로 높였다는 것을 발견했습니다. 사람들은 틀린 AI 답변을 신뢰했습니다.

연구진은 AI 조언이 판단 보류를 44%에서 3%로, 정확성을 27%에서 9%로 낮춘 반면, 자신감은 30%에서 76%로 높였다는 것을 발견했습니다. 사람들은 틀린 AI 답변을 신뢰했습니다.

프랑스와 이탈리아의 세 대학 출신 연구진은 AI 조언에 접근하는 것이 사람들이 “모르겠다(I don’t know)”고 말하려는 의지를 44%에서 3%로 무너뜨렸다는 것을 발견했습니다. 정확성은 27%에서 9%로 떨어졌습니다. 한편, 자신감은 30%에서 76%로 상승했습니다. 밀라노-비코카 대학교(University of Milano-Bicocca)의 부교수인 Valerio Capraro는 “사람들이 훨씬 더 나빠졌고, 정확성은 3분의 1에 불과했지만 자신감은 두 배나 높았다”고 말했습니다.

École Normale Supérieure와 사피엔차 로마 대학교(Sapienza University of Rome)의 Chiara Marcoccia 및 Walter Quattrociocchi와 함께 이 연구를 수행한 연구진은 AI 모델이 일반적으로 실패하는 질문, 즉 영화 속 팀 유니폼 색상 같은 시각적 세부 사항을 의도적으로 사용했습니다. 연구진은 이러한 질문에 대해 보통 틀리는 모델인 Step 3.5 Flash를 사용하여, 판단의 감소가 신뢰할 수 있는 도구에 대한 합리적인 위임으로 설명될 수 없도록 했습니다. 스스로 올바르게 답변했을 참가자 중 일부는 AI에게 물어본 후 잘못된 답변을 내놓았습니다.

금전적 인센티브도 도움이 되었지만, 그 정도는 크지 않았습니다. 무지함을 인정하려는 의지는 3%에서 8%로, 정확성은 9%에서 16%로 상승했지만, 둘 다 AI가 없는 기준선인 44%와 27%보다 훨씬 낮은 수준이었습니다. Wharton 연구진은 이전에 같은 현상을 설명하기 위해 “인지적 항복(cognitive surrender)”이라는 용어를 만들었으며, 이는 사람들이 AI의 부정확한 답변을 80%의 확률로 받아들이면서도 AI 없이 작업할 때보다 더 높은 자신감을 보고하는 것을 의미합니다. 이번 새로운 연구는 더욱 명확한 데이터를 추가했습니다. 단순히 사람들이 틀린 AI 답변을 신뢰한다는 것만이 아닙니다. 단지 AI가 존재한다는 사실 자체가 자신이 모르는 것을 인식하는 인지적 습관을 억제하고 있다는 것입니다.

“인간에게 ‘모르겠다’고 말할 수 있는 능력은 매우 중요합니다. 왜냐하면 그것이 우리 자신의 지식의 한계를 인식한다는 것을 의미하기 때문입니다.”라고 Capraro는 말했습니다. 그는 특히 비판적 사고 능력이 발달하기 전에 이러한 시스템과 함께 성장하는 아이들에게 깊은 우려를 표하고 있습니다. Google의 AI 검색 개편은 링크 대신 자신감 있는 AI 생성 요약본으로 대체되었고, Common Sense Media는 이번 주에 그 디자인을 학생들에게 “용납할 수 없는 위험(unacceptable risk)”이라고 지적했습니다. 이러한 패턴은 일관됩니다. 즉, AI 제품들은 ‘모르겠다’라고 말하는 것이 아니라 답변하도록 설계되어 있습니다. 그리고 그것을 사용하는 인간들 역시 그렇게 배우고 있는 것입니다.

매주 가장 중요한 기술 뉴스를 이메일로 받아보세요.