Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 AI가 인용하는 통계와 숫자의 출처 신뢰성 문제를 다루며, LLM이 근거 없는 '좀비 통계'를 생성할 위험성을 지적합니다. 모든 주장은 1차 자료에 기반한 명확한 출처 추적이 필수적이며, 이를 위해 처리 이력과 검증 과정을 기록하는 새로운 계층 구조가 필요하다고 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GeekNews (한국어)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기내가 꿈꾸는 AI는 모든 주장을 뒷받침하는 출처와 문서를 추적하고 검증하는 허드렛일을 대신해 주는 에이전트임. 하지만 실제로는 꼼꼼한 확인을 건너뛰고 더 빠른 ‘답’을 얻는 데 쓰이고 있음. 늘 하던 일에서 게으름만 더해진 셈임.
기술 문서를 쓸 때 Claude를 정확히 이렇게 활용하며, 이를 위한 스킬도 직접 만들었음. 모든 주장에는 출처가 있어야 하고, 모든 출처는 재확인해야 함. 1차 자료를 우선하며, 찾지 못하면 그 사실을 명시하도록 함.
분량이 늘더라도 일반 신문 수준의 독해력을 가진 독자가 이해할 수 있도록 쉽게 쓰게 함. 나머지 지침 대부분은 Chicago Manual of Style 준수와 문단 첫 줄·마지막 줄이 페이지에 홀로 남는 현상 방지, 이를 강조 상자나 표에 적용하는 방법 등에 관한 것임.
나도 같은 생각을 했는데, 이 분야에는 어떤 해법이 있는지 궁금함. LLM 위에 출처와 처리 이력을 추적하는 계층을 두고, 접근한 문서, 추출한 사실, 실행한 수식과 질의, 최종 산출물과 결과까지 기록하는 방식임. 결론에 도달한 과정을 정확히 입증할 근거도 함께 남기는 것임.
법률 기술 제품은 이렇게 해야 할 것 같은데, GitHub에 이런 범용 구조를 구현한 프로젝트가 있을까?
하지만 머지않아 그 출처와 문서, 검증 작업 대부분도 AI가 생성하게 될 것임. 우리 손으로 식수 우물을 오염시키는 꼴임.
원하는 대로 설정하면 충분히 가능함. 다만 대다수는 그런 검증에 관심이 없는 것임. 관심 있는 소수에게는 이제 도구가 생겼으니 실행할 수 있음. 강력한 도구인 만큼 원한다면 직접 만들면 됨.
보고서의 “숫자 하나, 뒤이어”, “다섯 곳 모두 인용. 출처는 어느 곳에도 없음” 같은 문체가 게으른 글쓰기인지, 의도적인 반어인지 모르겠음.
아마 조사부터 작성까지 전부 AI로 했을 것 같음.
조사 결과는 좋지만 AI가 쓴 티가 강하고 읽기 어려움. 일관된 이야기 없이 숫자만 쏟아지는 느낌이며, 화려한 애니메이션은 주의를 분산시킬 뿐임. 코딩 프로젝트를 진행하면서 내 LLM이 쓰는 작업 일지와 매우 비슷해 보임.
요즘 Perplexity 이야기는 드물지만, 모든 문장을 동료 심사 논문 같은 실제 출처로 연결하도록 한 설계는 신뢰를 확보하는 강력한 장치처럼 보임.
링크를 열어 보면 출처에 실제로는 그런 내용이 없는 경우가 있음. 나도 섬뜩할 만큼 자주 겪었음.
이 조사에도 Perplexity가 나오지만 성적이 크게 낫지는 않음. 물론 이 페이지 자체가 풍자나 근거 없이 떠도는 통계의 재탕이 아니라는 전제임.
처음 사용했을 때 AI가 만든 블로그 스팸을 1차 자료로 인용하는 일이 너무 잦아서 곧바로 구독을 해지했음. 1년 넘게 지난 일이며, 이후 다시 평가해 보지는 않았음.
그걸 어떻게 보장하는 걸까?
사실상 trakkr 광고를 살짝 감춘 글임. 이런 통계는 컨설턴트가 제안 발표 자료에 넣을 법한 수치라는 것 외에는 별 의미도 없으며, 그런 용도로 쓰일 때는 정확성조차 중요하지 않음.
또 다른 주요 용도는 이미 가진 견해를 정당화하고, 반대하는 사람을 공격할 근거로 인용하는 것임.
모델별 성능 차이도 흥미롭지만 인간 대조군이 있었으면 좋겠음. 여러 사람에게 같은 질문을 주고 답하게 해 봐야 함. 잘못되거나 아예 지어낸 통계는 인간 사회에도 예전부터 떠돌았음.
글 자체는 저질이라 읽을 가치가 없지만, 주제는 논의할 만함. 명백히 AI로 작성된 초기 php2shell 발표 글 하나가 웹사이트의 70%가 PHP를 쓴다고 했고, 이후 가장 신뢰받는 기술 매체를 포함해 모든 관련 기사에서 이 숫자를 반복했음.
2008년이라면 대략 맞았을지 몰라도 2026년에는 아닐 것 같음. 숫자도 지나치게 딱 떨어지며, 이제는 원출처를 찾기도 불가능함.
신뢰할 만한 사실의 기준이 합의라면 모든 AI 모델은 이를 사실로 받아들여야 함. 하지만 근거 없는 내용이 반복 인용되며 사실처럼 굳어지는 인용 세탁(citogenesis) 이 흔하기 때문에 합의만으로는 부족함. 통계를 곁다리로 언급한 기사는 출처가 아니며, 출처라면 주장에 대해 일정 수준의 인식론적 책임을 져야 함.