Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 생성한 콘텐츠는 출처 인용의 정확성 측면에서 심각한 오류를 보일 수 있습니다. 따라서 단순히 모델에게 인용을 요청하는 것보다, 개발자가 직접 출처 자료를 다운로드하고 검증 과정을 거치는 것이 훨씬 효과적입니다. 또한, 단순 인용구 외에 주장이 실제로 문맥적으로 뒷받침되는지 확인하는 2차 검토 과정이 필수적입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기모델에게 페이지를 작성하게 하는 것은 쉬운 부분입니다. 주제와 몇 가지 출처 자료만 제공하면, 잘 읽히는 결과물을 얻을 수 있습니다. 만약 이것이 전체 작업이었다면, 참고 웹사이트 하나를 만드는 데 주말이 걸릴 정도일 것입니다.
올해 저는 스페인 정치 시험과 그 주변의 일련의 참고 페이지들을 만들었습니다. 이 시험의 근거가 되는 각 사상가를 위한 페이지, 용어집, 그리고 각 정당 쌍을 비교하는 에세이가 포함되어 있습니다. 에이전트들이 대부분의 텍스트를 작성했습니다. 초안 작업은 빨랐습니다. 검토하는 것이 많은 노력이 필요했고, 이 게시물은 그 부분에 관한 것입니다. 웹사이트는 testpolitica입니다.
모델에게 페이지를 읽고 인용하도록 요청하면, 모델은 해당 페이지를 읽은 다음 메모리에서 인용문을 작성합니다. 결과는 올바르게 보이고 종종 문자 그대로가 아닙니다. 때로는 번역되어 돌아오기도 합니다.
저는 몇 번 측정해 보았습니다. 작은 모델에게 문자 그대로의 인용문을 요청했을 때, 24%에서 35%만이 출처와 대조하여 살아남았습니다. 제가 이것을 알기 전에 작성된 용어집에서는 285개의 인용문 중 141개가 자체 출처에 나타나지 않았습니다. 한 항목은 출처가 영어, 프랑스어, 러시아어로 되어 있는 반면 모든 인용문을 스페인어로 번역하여, 열 개 중 아홉 개가 실패했습니다.
즉, 인터넷상의 LLM 생성 콘텐츠의 상당 부분이 완전히 잘못되었다는 것입니다.
상황을 개선한 것은 모델에게 인용하는 작업을 제거하는 것이었습니다:
curl을 사용하여 어떤 모델이 보기 전에 출처 자료들을 다운로드합니다.이렇게 하자, 39개의 연구 인용문 중 36개가 문자 그대로의 내용으로 나왔고, 사상가 전기(thinker biographies)는 인용문의 95%가 출처와 일치하는 것으로 끝났습니다.
실패를 믿기 전에, 좋은 내용이라고 아는 인용구에 검증기(verifier)를 실행하세요.
문자 그대로의 인용구(literal quote)는 텍스트가 출처에 있다는 것만 증명합니다. 그것이 그 옆 문장을 뒷받침한다는 것을 증명하지는 않습니다.
'PP가 2023년 산체스(Sánchez)의 취임을 지지했다'는 주장은 거짓이지만, 여전히 완벽한 점수를 받은 문자 그대로의 인용구를 얻었습니다. 즉, 산체스가 임명되었다는 내용의 문장입니다. 따라서 두 번째 확인 과정이 있습니다. 각 주장과 그 인용구를 읽고 그것이 유효한지 말하는 심판 역할을 하는 모델입니다. 부분 일치(partial match)는 오직 심판이 주장을 인용구가 지지하는 무언가로 다시 작성할 때만 살아남습니다.
나중에 에이전트들로 26개의 가장 위험한 페이지에 대한 검토를 실행했습니다. 그것은 어떤 스크립트도 잡아내지 못했던 것들이었습니다... 출처가 없는 현존 인물에게 법적 사건과 유죄 판결을 귀속시킨 페이지, 케네디(Kennedy)에 관한 것이었지만 푸틴(Putin)에 대한 인용구, 그리고 하이에크(Hayek)의 것으로 공로를 돌렸으나 실제로는 마이제스(Mises)의 주장. 검토자들 역시 과장 보고하는 경향이 있으므로, 모든 발견 사항은 그것을 반박하는 것이 임무인 두 번째 에이전트에게 전달되었고, 그중 45%가 무효화되었습니다.
일부 수정 사항들은 사실과는 관련이 없었습니다. 특정 기자에 관한 문장에서 '조작된(Fabricated)'은 '시작한(started)'으로 바뀌었고, '최고의 탄약'은 '표준 참고 자료(standard reference)'로 바뀌었습니다.
어떤 검사도 그러한 것을 표시하지 못합니다. 살로 만든 누군가가 그것을 읽어야 합니다.
작성 과정이 현재 저렴한 부분이므로, 검증 비용(Budget for checking)을 예산에 포함해야 합니다. 모델이 여러분이 검증할 수 없는 것을 생성하도록 내버려 두지 마십시오. URL 대신 파일을 제공하고, 코드가 인용구를 추출하도록 하세요.
또한 검증기를 신뢰하기 전에 테스트하고 임계값(threshold)도 유지하는 것을 권장합니다.
많은 경우, 네 개 미만의 검증된 인용구가 있는 항목보다는 짧게 손으로 쓴 버전이 선택되어야 합니다.
검색 엔진들은 부실한 생성 콘텐츠와 구분하는 능력이 향상되고 있으므로, 이 또한 랭킹에 중요합니다. 왜냐하면 구글이 사이트가 기본적으로 형편없는 AI 생성 콘텐츠라면 플래그를 지정할 수 있기 때문입니다.
다음에 제가 콘텐츠 사이트를 시작한다면, 검증(verifier)을 가장 먼저 작성할 것입니다. 사실, 이 사이트의 대부분은 심도 있게 검토되었거나 단순히 손으로 직접 작성된 내용들입니다.