Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본문은 가짜 정보와 조작된 콘텐츠가 온라인 환경과 LLM의 인용 시스템에 미치는 심각성을 지적합니다. 과거부터 존재했던 웹상의 스팸 및 품질 저하 문제가 AI 시대에도 지속되며, LLM이 생성한 출처를 신뢰하기 어렵다는 점을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GeekNews (한국어)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기지도 제작의 함정 거리(trap street) 는 지도 표절을 잡기 위해 일부러 넣는 가상의 거리임. 지도 표시 범위 밖에 넣기도 하며, 이를 베낀 지도 제작자는 왜 똑같은 가짜 거리가 들어갔는지 우연으로 해명하기 어려워짐. https://en.wikipedia.org/wiki/Trap_street
지도를 베낀 사람을 실제로 처벌하는 수단은 무엇이었을까? 저작권법이었을까? 꽤 오래된 수법이라 확신하기 어려움. 사회적 비난 외에 복제자가 치를 대가가 잘 보이지 않는 반면, 원작자는 자기 지도의 정확도를 일부러 낮추는 비용을 감수해야 함.
Cory Doctorow의 최신 비소설 The Reverse Centaur's Guide To Life After AI에서 시맨틱 웹과 AI·에이전트용 인터넷이 작동하기 어려운 이유를 다룬 대목이 떠오름. 특히 속임수에 보상이 따른다는 구절이 LLM 논의마다 계속 생각남.
사기꾼은 자기 전화번호를 은행 고객센터로, 위조품 판매자는 자기 제품을 공식 액세서리로 표시할 것임. 신원도 확인할 수 없는 수백만 명이 만든 수십억 개의 표기를 검증하는 일은 감당하기 어려움.
무엇을 어떻게 기술할지에도 타협하기 어려운 차이가 있음. 트랜스젠더 혐오 사이트는 트랜스 여성을 여성으로 분류하지 않을 것이고, Microsoft는 Excel을 경쟁 스프레드시트와 동등하게 표시하지 않을 것임. Hermès 역시 4만 달러짜리 가방이 30달러짜리 가방과 소재·용량이 같다고 표시할 리 없음.
이 모든 문제가 사람이 사용하는 인터넷에도 똑같이 해당하지 않을까?
ChatGPT의 웹 검색 상위 10개 결과에도 LLM이 생성한 출처가 자주 등장하는 건 이미 알려진 문제임. 이제 자기들이 만든 콘텐츠로 다시 학습하는 셈임.
LLM 이전에도 검색 상위 결과는 상당히 나빴음. SEO로 순위를 끌어올린 조악한 글이 넘쳤고, Fiverr에서 글당 5달러를 주고 정확성은 신경 쓰지 않은 채 수백 편씩 찍어내곤 했음.
LLM을 거치지 않은 정보를 원한다면 이제 일부 주제에서는 웹 검색이 무의미함. 검색 결과 첫 몇 페이지가 뻔한 저질 생성물로 채워져 있음.
LLM이 인터넷을 무작정 흡수해 그대로 되뱉는다는 건 2022년 무렵의 인식이며, 이미 오래전부터 현실과 맞지 않음. 또 LLM 개발사만큼 생성 텍스트와 비생성 텍스트를 구별할 유인이 강한 곳도 거의 없고, 이를 위한 분류기 학습은 충분히 해볼 만한 작업임.
LLM 이전에도 더 느린 형태로 존재하던 현상임. Wikipedia에서는 순환 인용(citogenesis) 이라고 부름.
Google이 왜 해당 사이트의 순위를 낮췄는지 궁금함. LLM이 작성한 글임을 정확히 식별해서 내린 걸까?
자기 사이트를 평가하는 별도 사이트만 만들어도, LLM이 리뷰를 찾을 때 그 가짜 리뷰가 반영될 정도로 문제가 심각함.
그건 사기이자 범죄에 해당한다고 봄. 새로운 문제는 아님.
LLM도 Google 이전의 사람들이 겪던 문제, 즉 웹사이트 정보가 진실이고 품질이 좋은지 판별해야 하는 문제에 직면함. LLM용 Google이 필요하지만 LLM은 광고를 소비하지 않으니, 결국 LLM용 광고까지 필요해지는 걸까?
Google 이전 검색의 핵심 문제는 품질보다는 당시 검색엔진이 활용하던 헤더와 키워드의 스팸이었음. Google도 처음 한두 해는 훌륭했지만, 사람들이 PageRank를 조작하는 법을 익히자 상위 결과가 SEO 스팸으로 채워지기 시작함.
이제는 스팸과 대기업 사이트가 검색 결과의 상당 부분을 차지하고, 흥미로운 취미 사이트나 https://www.joelonsoftware.com 같은 읽을 만한 블로그의 귀한 콘텐츠는 밀려남.
AI는 어느 정도 데이터 선별을 거쳐 스팸 피해가 덜했던 듯하지만, 그 선별이 앞으로도 얼마나 오래 통할지가 관건임. 검색 때처럼 여기서도 손을 놓는 것처럼 보임.
이런 문제를 일반 대중에게 더 널리 알리는 작업이 필요함.
아무 근거 없는 거짓 정보를 게시해도 막을 수 없고, LLM은 평판이 아주 나쁜 곳만 아니면 유효한 제3자 출처로 취급함. 대체 어떻게 고칠 수 있을까? 이미 Reddit과 Facebook 등도 출처로 쓰니 새삼스러운 일도 아닌 듯함.
이제 우리 손을 떠난 듯함. LLM이 사람들이 무엇을 보는지 결정하는 필터가 된 만큼, 개발사들이 해결해 주기를 바람. 추론과 근거 확보를 개선하면 노골적인 거짓말은 막을 수 있을 듯함.
다만 학습 데이터 속 거짓 정보가 추론 자체를 잘못된 방향으로 이끌 수 있고, 근거로 삼는 출처 수도 여전히 적을 수 있다는 두 가지 문제가 더 커 보임.
인간으로서는 오히려 반가운 일임. 개인적으로는 해결 불가능하거나, 해결 비용이 너무 커서 AI의 효용이 크게 줄어들기를 바람.
경쟁 기업들이 서로 AI에 잘못된 데이터를 먹여 상대의 의사결정을 오염시키는 경쟁도 가능하지 않을까? 가짜 수학 논문부터 퍼뜨릴 수 있겠음. 증명 검증 시스템 때문에 OpenAI를 완전히 막지는 못하더라도, 잘못된 수학이 비용을 높이고 AI의 속도를 늦추기를 기대함.
Claude나 OpenAI 등이 BLS 데이터셋을 직접 조회하는 도구 대신 Google에서 지난 분기 물가상승률을 검색한다는 점이 오래전부터 이상하게 느껴짐. 이런 통계는 대부분 1차 출처에서 가져오는 방향으로 바뀌기를 바람.
권위에 맡기고 정부가 진실과 거짓을 판정하도록 믿으면, LLM이 늘 정답을 줄 수 있을 것임. 그러면 잘못될 일이 전혀 없겠지?
고칠 수 없다고 봄. YouTube의 자동 동영상 요약이 특히 황당한 예임. 몇 달 뒤처진 모델이 요약을 만들고, 그 요약이 다시 검색엔진에 들어감.
모델이 Nikon ZR을 모르면 해당 제품 영상의 요약에 Nikon Z8이나 Nikon Zf를 끼워 넣을 수 있음. 그 결과 검색 정확도와 영상 발견 가능성이 낮아짐. 자기가 마시는 우물을 스스로 오염시키는 AI판 행태임.
스크래퍼는 데이터를 닥치는 대로 수집하지만 참과 거짓을 판별할 방법이 없으니, 모두가 이미 아는 문제라고 생각했음. 명백한 거짓 정보가 퍼지는 구체적인 예도 의미 있지만, 더 미묘한 변형은 사실상 무한히 많음.