ArsTechnica: 저자, 출간된 도서에서 AI가 생성한 '합성 인용구' 발견 보고

무슨 일이 일어났는가

저자 Steven Rosenbaum은 최근 자신의 최신 저서인 'The Future of Truth'에 실제 인물로 귀속된 조작된 인용구들이 포함되어 있음을 공개했습니다. Rosenbaum은 연구 및 초안 작성 과정을 돕기 위해 AI 도구들을 활용했으나, 이후 소프트웨어가 실제로 일어나지 않은 특정 대화와 인터뷰를 환각 (Hallucination)했다는 사실을 발견했습니다. 이러한 부정확성에도 불구하고, Rosenbaum은 기술을 더 엄격한 감독 하에 관리한다면 여전히 가치 있는 생산성 자산이라고 주장하며, 자신의 집필 워크플로우에 AI를 계속 통합하겠다는 의사를 공개적으로 밝혔습니다.

무엇이 변했는가

이번 사건은 사실적 근거 (Factual grounding) 및 출처 검증과 관련하여 현재의 거대 언어 모델 (LLM) 구현 방식의 치명적인 결함을 강조합니다. 정보를 합성하는 과업을 수행할 때, 저자가 사용한 AI 모델들은 사실적 정확성보다 서사의 흐름을 우선시했고, 그 결과 '합성 인용구 (synthetic quotes)'가 생성되었습니다. 실패의 주요 기술적 측면은 다음과 같습니다:

• 출처의 환각 (Hallucination of sources): AI가 그럴듯하게 들리지만 완전히 허구인 인터뷰 녹취록을 생성했습니다.
• 인용 검증의 부재 (Lack of citation verification): 워크플로우에 AI 출력물을 1차 자료와 교차 참조할 수 있는 자동화된 2차 팩트 체크 레이어가 부족했습니다.
• 맥락적 혼합 (Contextual blending): 모델이 공개된 성명과 존재하지 않는 사적인 대화를 혼동했습니다.

Rosenbaum은 AI가 복잡한 논증을 구조화하는 데는 능숙했지만, 검증된 데이터와 확률적 텍스트 생성 (Probabilistic text generation)을 구분하는 데 실패했다고 언급했습니다. 그는 현재 AI 출력을 오직 '초안 (first draft)'으로만 취급하도록 워크플로우를 조정하고 있으며, 최종 출판 전 모든 인용 문구를 원본 녹음이나 녹취록과 대조하여 수동 검증하는 과정을 거치고 있습니다. 이러한 변화는 AI의 언어적 유창성과 연구 집약적인 작업에서 객관적 진실을 유지하는 능력 사이의 지속적인 격차를 강조합니다.

대행사에 주는 시사점
마케팅 대행사(Agencies)에게 이번 사건은 AI 보조 콘텐츠 제작에 관한 경고성 사례로 작용합니다. 백서(white papers), 사례 연구(case studies) 또는 사고 리더십(thought leadership) 콘텐츠를 작성하기 위해 Jasper AI나 기타 AI 기반 콘텐츠 생성 도구에 의존하는 대행사는 반드시 엄격한 인간 참여형 검증 프로세스(human-in-the-loop verification processes)를 구현해야 합니다. 만약 대행사가 "합성(synthetic)" 인용구나 조작된 통계가 포함된 콘텐츠를 게시할 경우, 고객의 신뢰를 저해하고 윤리적 기준을 위반하게 되어 심각한 평판 손상을 입을 수 있습니다. 대행사는 AI를 주요 연구자가 아닌 초안 작성 보조 도구로 취급해야 합니다. 고객에게 전달되는 모든 결과물을 확정하기 전에, 팀은 모든 주장, 인용구 및 데이터 포인트를 신뢰할 수 있는 원본 소스와 대조하여 검증해야 합니다. 이는 데이터를 스크래핑(scraping)하는 AI 기반 SEO 도구를 사용할 때 특히 중요한데, 이러한 도구들은 저품질 웹 소스의 잘못된 정보를 의도치 않게 퍼뜨릴 수 있기 때문입니다.

향후 주목해야 할 사항
대행사는 모델이 검증된 지식 베이스(knowledge bases) 내에서만 작동하도록 제한하는 것을 목표로 하는 기업용 AI 제품군의 "그라운딩(grounding)" 기능의 등장을 모니터링해야 합니다. 또한 운영자는 내부 편집 가이드라인을 검토하여 검증되지 않은 AI 생성 인용구의 사용을 명시적으로 금지하고 있는지 확인해야 합니다. AI가 생성한 허위 정보에 대한 법적 조사(legal scrutiny)가 증가함에 따라, 대행사는 고객 및 이해관계자와의 투명성을 유지하기 위해 콘텐츠 제작 워크플로에서 AI 사용 여부를 공개할지 여부를 결정해야 합니다.

출처: AI가 그의 책에 "합성 인용구"를 넣었다. 하지만 이 저자는 계속 사용하기를 원한다. 원문 게시: https://ai.nidal.cloud