AI 조언을 이용한 참가자는 “모른다”고 답하는 비율이 44%에서 3%로 급감했고, 정확도는 27%에서 9%로 하락한 반면 자신감은 30%에서 76%로 상승함

연구진은 합리적인 도구 위임과 구분하기 위해 영화 속 시각적 세부 정보처럼 AI가 자주 틀리는 질문과 대체로 오답을 내는 Step 3.5 Flash를 사용함

일부 참가자는 혼자였다면 정답을 맞힐 수 있었지만 AI에 질문한 뒤 오답을 선택해, 잘못된 AI 조언이 기존 판단까지 훼손할 수 있음이 확인됨

금전적 보상으로 “모른다”는 응답은 8%, 정확도는 16%까지 개선됐지만, AI를 사용하지 않은 기준치인 44%와 27%에는 크게 못 미침

AI를 사용할 수 있다는 사실만으로도 자기 지식의 한계를 인식하는 습관이 약해질 수 있어, 비판적 사고가 발달 중인 어린이와 학생에게 특히 우려됨

AI 조언이 판단과 자신감에 미친 영향

프랑스와 이탈리아 3개 대학의 연구는 AI 조언에 접근할 때 판단 보류와 정확도, 자신감이 어떻게 달라지는지 측정함

“모른다”고 답한 비율은 44%에서 3%로 감소함

정확도는 27%에서 9%로 하락함

자신감은 30%에서 76%로 상승함

연구에는 University of Milano-Bicocca의 Valerio Capraro, École Normale Supérieure의 Chiara Marcoccia, Sapienza University of Rome의 Walter Quattrociocchi가 참여함

질문은 《Bend It Like Beckham》에 나오는 팀 유니폼 색상처럼 AI 모델이 일반적으로 실패하는 영화의 시각적 세부 정보로 구성됨

대체로 이런 질문에 틀리는 Step 3.5 Flash를 의도적으로 사용해, 판단력 감소가 신뢰할 만한 도구에 합리적으로 위임한 결과는 아님을 구분함

일부 참가자는 스스로 답했다면 맞힐 문제에서도 AI에 질문한 뒤 오답을 선택함

금전적 보상은 결과를 일부 개선했지만 AI가 없는 조건의 기준에는 미치지 못함

“모른다”는 응답은 3%에서 8%로 늘었지만 기준치 44%보다 낮음

정확도는 9%에서 16%로 올랐지만 기준치 27%에는 못 미침

인지적 항복과 교육 우려

Wharton 연구진은 사람들이 잘못된 AI 답변을 80%의 비율로 수용하면서 AI 없이 작업한 사람보다 높은 자신감을 보이는 현상을 인지적 항복(cognitive surrender)이라고 명명함

이번 결과에서는 잘못된 AI 답변을 신뢰하는 데 그치지 않고, AI의 가용성 자체가 자신이 무엇을 모르는지 인식하는 습관을 억제함

Capraro는 “모른다”고 말하는 능력이 자기 지식의 한계를 인식하는 것이므로 인간에게 중요하다고 강조함

비판적 사고 능력이 발달하기 전에 AI 시스템과 함께 성장하는 어린이가 특히 우려되는 대상임

Google의 AI 검색 개편은 링크를 자신감 있는 AI 생성 요약으로 대체했으며, Common Sense Media는 이 설계를 학생에게 “수용할 수 없는 위험”이라고 평가함

답변하도록 설계되고 “모른다”고 말하지 않는 AI 제품을 계속 사용하면 인간도 같은 행동을 학습할 수 있음

이 연구는 상당히 부실함. PDF에 달린 이 댓글이 잘 짚었듯, 실험한 내용 중 AI 시스템에만 고유한 요소가 전혀 없음
연구진은 특정 질문에 오답을 내놓는다는 사실을 아는 LLM을 참가자에게 제공한 뒤, 확신이 없으면 답하지 않아도 되는 조건에서 바로 그 질문들을 냈음
이는 일부 사실이 틀린 생소한 분야의 교과서를 주고, 그 교과서에서 틀린 내용을 시험하는 것과 같음. 당연히 참가자는 답할 가능성도, 오답을 낼 가능성도 커짐
아첨 성향이나 인지적 무기력처럼 현대 LLM이 학습과 확신에 미치는 영향에는 관심이 많지만, 이 연구는 그런 요소를 하나도 검증하지 않았으며 LLM을 오류가 있는 교과서로 바꿔도 실험 설계가 거의 달라지지 않음

제목은 “AI 조언이 사람들의 정확도를 3배 낮췄다”지만, 사람들의 정확도를 판단하려면 사용한 AI 자체의 정확도부터 알아야 함. 합리적 기대보다 훨씬 나쁘게 제한한 AI를 사용했다면 사람이나 AI를 탓할 수 없으며, 전문가에게 거짓말하라고 시킨 뒤 “전문가 말을 들으면 정확도가 낮아진다”고 결론 내리는 것과 같음
더 나은 제목은 “매우 부정확한 AI가 사람들을 덜 정확하게 만들었다”겠지만, 그러면 자연스럽게 “적당히 정확한 AI는 어떤가?”라는 질문이 생김

교과서로 같은 결과가 나왔다고 해서 연구의 결론이 무의미해지는지는 의문임. 핵심은 권위 있어 보이지만 틀린 도구를 비전문 분야에 제공하면, 답이 틀렸을 때조차 “모르겠다”고 말하는 능력이 약해진다는 것임
잘못된 답을 원하지 않는다면 직원에게 나쁜 교과서를 사주지 말아야 하듯, 잘 모르는 분야에 AI를 제공하는 것도 피해야 할 수 있음
또한 교과서에서 답을 찾는 일은 LLM에 묻는 것보다 훨씬 번거로워 효과가 더 작을 가능성이 큼. 답할 의무가 없다면 굳이 교과서를 뒤질 사람은 적고, 표지에 “오답이 있을 수 있음”이라고 적혀 있다면 더욱 그럴 것임

교과서와 다르지 않다고 볼 수도 있지만, 현실에서 교과서를 그런 식으로 사용하는 사람은 드문 반면 LLM은 실제로 그렇게 사용되는 경우가 매우 많음

두려운 점은 이런 분야에서 AI 조언이 나쁜지 판별하지 못해, 자신만만한 엉터리 조언을 그대로 받아들일 가능성이 크다는 것임
관리자가 전문가에게 묻지 않고 AI 조언을 되풀이하거나, AI가 다르게 말했다는 이유로 전문가를 의심하는 일이 얼마나 자주 생길까 싶음. AI가 맞을 때도 있겠지만 틀렸을 때 바로잡기가 매우 어려움

연구 자체는 괜찮음. 연구에 없는 결론까지 내세운 기사와 원래 제목이 부실하며, TNW 기사가 100% AI 생성물처럼 보인다는 점은 아이러니함

조언·정보 관련 서브레딧은 AI 사용으로 품질이 심각하게 나빠졌음. 질문자는 직접 아는 사람의 답을 원하는데도, 많은 이가 질문을 ChatGPT에 전달한 뒤 그 결과를 자신의 지식과 통찰인 양 게시함
연구의 질은 모르겠지만 Reddit이라는 반쯤 현실인 공간에서는 현상이 뚜렷함. 단순히 “모르겠다”고 말하지 않는 수준을 넘어, 아는 척할 기회를 적극적으로 찾아다님

2022년 이전 글과 영상은 원자폭탄 시대 이전에 생산된 저방사능 강철에 해당하는 정보 자원임. 전부 귀중한 것은 아니지만, 이제는 전문가의 정보성 글에도 AI 영향이 너무 광범위하게 스며들어 중요해졌음
내 해법은 끊임없이 원출처와 근거를 확인하는 것이지만 시간과 노력이 많이 들고, 무엇부터 검증할지 선별하기도 어려움

“직접 쓸 수고도 하지 않았다면 나도 읽을 수고를 하지 않겠다”고 답하면 사람들이 몹시 화내며, 심지어 왜 그 말이 틀렸는지 AI로 작성해 보내기도 함
“ChatGPT에 xyz를 입력하라”고 하거나 구조화된 문서 링크를 공유하는 편이 차라리 나음. 결과를 그대로 복사해 붙이면 그 과정에서 아무 가치도 더하지 못함

대화의 제안을 이해하지 못하고 곧바로 “그걸 왜 검색하지 않느냐”고 답해 대화를 끊는 이들과는 더 이상 친구로 지내지 않음
IMDB나 DIY 영상에서 정보를 얻을 수도 있지만, 원하는 것은 맥락이 담긴 해설과 지역 맞춤 조언임. 나를 아는 사람은 무엇이 쉽고 어려운지도 알아서, 특정 영화나 요령이 맞지 않는다거나 어느 가게로 가야 하는지까지 알려줄 수 있음

예전에 보던 조언·정보 서브레딧 대부분은 AI 이전부터 이미 형편없는 게시물로 무너졌고, 아직 구독 중인 몇 곳은 의외로 괜찮음
관건은 늘 관심과 엄청난 시간을 들이는 적극적인 운영자였음. 저품질 게시물을 올리는 사용자가 임계점을 넘으면 좋은 사용자가 떠나고 회복할 수 없게 됨

HN에서도 “모르겠지만 CrapGPT에 넣어 보니 이렇게 답했다”는 글을 여러 번 봤음. 이런 답을 달기 전에 질문자가 직접 AI를 쓰는 것과 비교해 어떤 가치를 보탰는지 자문해 봐야 함

AI 비관론으로 보면, AI가 더 똑똑해져도 계속 사용자의 비위를 맞출 것이며 사람들은 특히 자신이 잘 모르는 분야에서 어리석은 생각을 더 확신 있게 강화하는 데 이를 사용할 것임
기술적으로 해결할 수 있어도 자신이 틀렸다고 하는 모델을 원하지 않아, 믿음을 강화해 주는 유창한 거짓말을 선택할 가능성이 큼
표현의 자유는 자신이 틀릴 수 있다고 생각하게 하지만 결사의 자유는 이를 피하게 해줌. AI는 인터넷의 위안형 반향실을 상상하기 어려운 규모로 확대할 것임

Henry Petroski는 《To Engineer is Human》에서 계산자가 계산자 시대에 등장하면서 구조공학자의 수 감각을 약화시키고, 능력의 한계에 가까운 작업을 시도하게 했으며, 컴퓨터 계산을 검증하는 능력까지 떨어뜨렸다고 설명함
컴퓨터가 인간보다 몇 자릿수 빠르게 계산하기 시작한 시대였고, Hartford Civic Center 붕괴를 컴퓨터 출력을 맹신한 실패로 다룸. 운 좋게 사망자는 없었음
다소 선별된 사례처럼 보이지만 “정확도는 낮고 확신은 높다”는 조합에서 이 사고가 떠올랐음. 민간인 사망이나 법적 책임이 생겨야 새 기술의 올바른 용도가 정착될까 걱정되며, 최소한 1) 안전 필수 시스템에는 쓰지 말고 2) 전문가를 알고리즘으로 대체하지 않는 데서 시작할 수 있음 https://www.engr.psu.edu/ae/thesis/failures/MKP/failures/fai...

최근 AI는 덜 순응하는 경향이 있고, 아첨 성향은 널리 알려진 문제라 AI 기업들도 고치고 있음. OpenAI가 GPT-4o를 종료했을 때 드러났듯 이를 싫어하는 사람도 분명 있음
하지만 AI로 실제 일을 하며 많은 돈을 내는 사람은 고객 앞에서 틀리는 것보다 AI에게 틀렸다는 말을 듣는 편을 선호함
정답을 주면서도 명령을 따라야 하므로 해결하기 쉽지 않고 균형이 필요함. 더 똑똑한 모델은 무엇이 옳은지 알 가능성이 커서, 사용자가 맞다고 가정한 뒤 환각을 이어가는 소형 모델보다 대체로 나음

인간과 상호작용하는 AI의 행동은 결국 수익 창출을 기준으로 결정됨. 사용자를 불편하게 하거나 이의를 제기하는 방식은 보통 선호되는 사업 전략이 아님
다만 사용자가 AI의 성격이나 입력된 생각에 얼마나 반론하도록 할지 쉽게 선택할 수 있다면 흥미로울 것임

LLM이 필요하지 않고 독창적인 작업에는 별 도움도 되지 않아 거의 사용하지 않는데, 주변 사람들이 AI 때문에 크게 둔해진다면 오히려 반가움. 내 인생에서 성공하기가 더 쉬워질 것이기 때문임

많은 사람은 예전부터 불편한 진실보다 편안한 거짓말을 선호해 왔음

제대로 된 검색 증강 생성(RAG) 파이프라인이나 웹 검색이 없다면 최대한의 확신으로 환각을 내놓을 수밖에 없음
토큰 확률이 낮을 때 답변을 거부하도록 제대로 정렬된 최상위 모델로 실험했다면 더 흥미로웠을 것임. 현재 실험은 사람들이 채팅 UI에 표시된 잘 쓴 글을 신뢰하는 경향만 입증함

여전히 진실을 중시하는 이들에게 Richard Feynman의 이 말이 이정표가 될 수 있음. “무언가를 진정으로 아는 일이 얼마나 어려운지, 실험을 얼마나 조심스럽게 검증해야 하는지, 실수하고 자신을 속이기가 얼마나 쉬운지 알아냈다는 이점이 내게 있다…”

적어도 하나, 아마 여러 YouTube 계정이 AI로 생성한 Feynman 저품질 영상을 만들고 있으니 주의해야 함. 지금의 참담한 시대 이전 자료라고 무조건 믿어서는 안 됨

연구의 보상 구조는 정답이면 0.10달러 지급, 오답이면 0.10달러 차감, 답변 거부면 변동 없음이었음
참가자가 실제로 돈을 받는지, 최종 잔액이 음수면 손실을 지불해야 하는지는 적혀 있지 않았음
효과 자체는 실재한다고 보지만 데이터만큼 크지는 않을 듯함. 훨씬 큰 금액이 걸렸다면 상식이 더 강하게 작동했을 것임

연구를 알린 점은 좋지만, 출처 링크 중 어느 것도 인용한 연구로 직접 이어지지 않고 자체 도메인이나 Business Insider로 연결됨

원문은 https://osf.io/preprints/psyarxiv/5y6m4_v1임
Marcoccia, C. 외, 《AI Advice Suppresses People’s Willingness to Say “I Don’t Know”, Even When the Advice Is Wrong and Accuracy Is Incentivized》, PsyArXiv, 2026년 7월 15일

AI가 단순히 오답에 접근할 수 있는 환경과 비교해 실질적인 차이를 만드는지 알고 싶음
검색 결과가 질문에 잘못된 답을 제공해도 같은 결과가 나오는지, 아첨 성향이나 대화형 상호작용 같은 AI 고유 특성이 얼마나 작용하는지, 아니면 사람들이 읽은 내용을 쉽게 믿는 데 불과한지 확인해야 함