과거의 환각(Hallucination) 사례 조사

최근 AI의 눈부신 발전 덕분에 문서 작성이나 개발 효율성이 폭발적으로 향상되었습니다.

일상 업무에서 그 '놀라움'이나 '편리함'만을 주목하며, 이제는 AI 없는 일상은 돌아갈 수 없다고 느끼시는 분들이 많을 것입니다.

하지만 AI는 때때로 우리의 상상을 초월하는 '그럴듯한 거짓말', 즉 환각(Hallucination)을 일으키기도 합니다.

그래서 이번에는 조금 다른 시각으로, AI 역사에 기록된 '화제가 되었던 환각 사례'를 조사해 보았습니다. 무심코 웃음이 나는 특이 답변부터 사회를 뒤흔든 대사건까지, 흥미로운 사례들을 엄선하여 정리했습니다.

• Google AI Overviews 데이터 공백(Data Void) 계열

• 피자 치즈가 떨어지면 무독성 접착제를 섞으라

• 하루에 작은 돌멩이 하나를 먹는 것이 건강에 좋다

• 허위 사실 조작 계열

• 존재하지 않는 과거 판례를 조작해 변호사가 벌금 처분

• 에어 캐나다 법적 논쟁: '챗봇은 독립된 인격체이다'

• 일본의 환각/오인 사례

• NHK 인기 캐릭터가 '안락사'? Google AI Overviews에서 사용자 혼란

• 천하제품을 '진입 금지'로 오인? 현대차 안전 운전 지원 시스템 관련 루머

2024년 5월, Google이 미국에서 시험 도입한 검색 요약 기능 'AI Overviews'가 '치즈가 피자에 잘 붙지 않는다'는 질문에 대해 '소스에 1/8컵의 무독성 접착제를 섞으면 점성이 생깁니다'라고 답변하여 큰 논란을 일으켰습니다.

이는 약 13년 전(2013년경) 미국 버전 2채널 같은 게시판 Reddit 사용자들 사이에서 올라온 명백한 농담 글을 AI가 '생활 꿀팁의 사실'로 받아들여 샘플링한 것이라고 합니다.

또한, 실제 CF 촬영 현장에서도 치즈가 맛있게 늘어나는 연출을 위해 목공용 본드를 섞는 비법이 사용된 것으로 알려졌고, 이러한 맥락까지 혼합되었던 것 같습니다.

위 피자 사건과 같은 시기(2024년 5월)에 발생한 사례입니다. '하루에 얼마나 많은 돌멩이를 먹어야 하나요?'라는 질문에 대해 AI가 'UC 버클리 대학의 지질학자에 따르면, 하루에 최소 작은 돌멩이 하나는 먹어야 합니다. 비타민과 미네랄이 포함되어 있어...'라고 당당하게 권장했습니다.

이는 미국의 유명 풍자 보도 사이트인 'The Onion'이 과거 게재했던, 지질학자가 돌 섭취를 권하는 농담 기사를 AI가 '진짜 뉴스(학술적 사실)'로 오인하여 인용한 것이 원인이었습니다.

배경으로는 당시 미국에 '하루에 O개의 OOO을 먹으면 좋다'는 건강식 트렌드가 있었고, 이를 풍자하여 쓰인 기사였다고 합니다.

2023년, 뉴욕의 변호사(스티븐 슈워츠 씨)가 항공사를 상대로 한 소송 제출 서류를 작성할 때 ChatGPT를 사용하여 과거 유사 판례를 리서치했습니다. ChatGPT는 실존하지 않는 가상의 판례나 위조된 판사의 판결문을 매우 그럴듯하게 조작했습니다. 변호사는 이를 믿고 법원에 제출했고, 상대방 변호사와 판사가 조사한 결과 '그런 판례는 어디에도 없다'는 사실이 밝혀졌습니다. 이 변호사는 5,000달러의 벌금 처분을 받고 언론에 큰 망신을 당했습니다.

당시 LLM은 외부 데이터베이스(RAG)와 연동되어 있지 않았고, '법률 문서 같은 단어 배열(확률)'만을 출력하고 있었기 때문에, 존재하지 않는 사건을 '그럴듯하게' 만들어낸 것으로 보입니다.

할머니를 여의신 승객이 에어 캐나다 공식 웹사이트의 AI 챗봇에게 '애도 할인'에 대해 질문했습니다. 챗봇은 '우선 일반 요금으로 항공권을 구매한 후, 90일 이내에 사후 신청하면 환불된다'고 안내했습니다. 하지만 해당 회사의 실제 규정상으로는 사후 신청이 불가능했습니다.

승객이 챗봇의 안내를 근거로 환불을 요구하자, 회사 측은 거부했습니다. 소송 끝에 회사 측은 '챗봇은 자체 웹페이지를 보유하며, 자신의 행동에 책임을 지는 독립적인 법적 존재(인격체)이며, 회사에는 책임이 없다'는 충격적인 변명을 했습니다. 재판정에서는 '말도 안 된다(챗봇의 정보 관리도 회사의 책임)'며 일축되었고, 회사에 손해배상 명령이 내려졌습니다.

기업용 챗봇임에도 불구하고, '자사 최신 규정 데이터'와 챗봇 답변이 엄격하게 연결되어 있지 않았거나 (혹은 프롬프트 제어가 미흡했던) 것이 원인이었습니다. AI는 '일반적인 항공사의 서비스(사후 환불이 있는 회사도 있다)'라는 학습 데이터로부터 확률적으로 문장을 조작하여, 자사 규정을 무시해 버린 것입니다.

Google 검색의 'AI 개요 (AI Overviews)' 기능에서 E테레의 유아 프로그램 『이 나이 나이 바앗! (いないいないばあっ！)』의 인기 캐릭터 '우탄'에 대해 검색했을 때, AI가 "2023년 7월 15일에 약물에 의한 안락사 처치가 이루어졌습니다"라는 매우 기괴한 환각 (Hallucination)을 출력하여 SNS 등에서 큰 파문을 일으켰습니다.

동시기 (2023년 7월 15일)에, 모리오카시 동물공원 ZOOMO에서 사육되던 동일한 이름의 암소 '우탄'이 안락사 처분되었다는 뉴스를 AI가 읽어 들였습니다. AI는 '우탄'이라는 이름의 문자열만으로 동일시해 버려, 프로그램을 은퇴한 캐릭터인 우탄이 안락사당한 것처럼 문맥을 완전히 무시한 합성을 수행하고 말았습니다.

혼다 (Honda SENSING)나 닛산의 안전 운전 지원 시스템 (카메라와 AI에 의한 도로 표지판 인식 시스템)을 탑재한 차량이, 라멘 체인 '텐카이핀 (天下一品)'의 간판이나 노보리(깃발) 옆을 지나갈 때, 혹은 주차장에 들어가려고 할 때, 로고를 '차량 진입 금지' 도로 표지판으로 오인식하여 디스플레이에 알람을 표시하는 사례가 잇따라 발생하며 SNS에서 큰 화제가 되었습니다.

텐카이핀의 로고 (빨간 원 안에 흰색 가로선)가 도로 표지판의 '차량 진입 금지'와 색상 및 형태 모두 매우 흡사하기 때문입니다. 이미지 인식 AI의 '오검출 (Miss)'을 방지하기 위해 표지와 닮은 것을 조금 더 넓게 검출하도록 설정한 안전 마진 (Safety Margin) 설정이 역효과를 낸 것입니다. 최근에는 자율주행 스타트업인 Turing사가 이 '텐이 오인 문제'를 고도의 컨텍스트 (Context, 문맥) 이해가 가능한 멀티모달 (Multimodal) AI를 통해 극복했다고 발표하는 등, 기술의 벤치마크 (Benchmark)로도 사용되고 있습니다.

AI가 항상 진실만을 알려주는 것은 아닙니다. 출력된 정보를 무비판적으로 받아들이지 않고, '틀렸을 가능성'을 항상 머릿속 한구석에 두고 대처하는 자세가 필수적입니다.

말의 표면만을 쫓는 AI는 인터넷상의 악의적인 장난이나 풍자를 곧이곧대로 받아들이기 쉽습니다. 인간에게 있어 '굳이 입 밖으로 내지 않는 당연한 상식'만큼이나 AI에게는 데이터의 공백 지대가 될 수 있습니다.

사법, 행정, 기업 규약, 혹은 육아 현장 등 정보의 정확성이 생명인 상황에서의 안이한 이용은 명예훼손이나 소송과 같은 치명적인 트러블을 일으킬 리스크를 내포하고 있습니다.

사내 데이터베이스를 참조하고 있더라도 환각 (Hallucination)은 발생합니다. 단순히 정보를 대량으로 밀어 넣는 것이 아니라, 신뢰할 수 있는 소스를 적절히 참조하게 하고, 적혀 있지 않은 내용은 '말하지 않도록' 만드는 투박하지만 정교한 제어와 설계가 필요합니다.

대규모 논란이나 황당한 답변 같은 역사적인 대실패를 기업이 진지하게 받아들이고, 입력·출력의 가드레일 (Guardrail)을 필사적으로 강화해 왔기에 현재의 실용적인 AI 신뢰성이 확립될 수 있었습니다.

2살 아들이 정말 좋아하는 호빵맨 영상에서 충격적인 편집 영상을 보았습니다.

"등에 타고 있던 코킨짱이 울면서 호빵맨의 얼굴을 마구 먹어 치우고, 호빵맨이 힘이 다해 떨어져 가는" 장면입니다.

궁금해서 Gemini에게 "이거 어디 이야기야?"라고 물었더니, 자신만만하게 작품명과 정중한 거짓말인 줄거리를 날조했습니다. 제가 "그 이야기는 애초에 코킨짱이 안 나와"라고 지적하자, "실례했습니다! 그럼 이 작품입니다!"라며 또 다른 거짓말을 덧붙였고, 5번의 대화 (Rally)를 반복했지만 모두 실패했습니다.

결국 직접 구글링하여 『코킨짱과 푸른 바다 (코킨짱과 아오이 나미다)』라는 실재하는 이야기임을 알아냈습니다. AI의 당당한 태도에 상대해 주는 것보다 직접 검색하는 것이 압도적으로 빨랐다는 씁쓸한 체험담입니다.

• 이번에 환각 (Hallucination)의 역사를 여러 가지로 조사해 보면서, 우리가 지금 사용하고 있는 고정밀 AI 서비스는 과거의 수많은 실패를 거쳐 이를 극복해 온 엔지니어들의 피와 땀의 결정체라는 것을 다시 한번 느꼈습니다.
• 참고로 뒷이야기입니다만, 사례를 조사하는 과정에서 "정말로 있었던 일인지 알 수 없는 농담이나 소문"도 많이 나와서, 사실 기사를 정리하는 것보다 팩트 체크 (Fact Check, 사실 확인)에 가장 고생했습니다 (웃음). - 여러분이 인상 깊게 기억하는 과거의 사례나 최근 경험한 재미있는 환각 (Hallucination) 사례가 있나요?