짧은 배경 설명을 드리겠습니다. 저는 수백만 회의 조회수를 기록하는 30분짜리 영상들을 보면서, 영상 속의 주장들이 실제로 사실인지 저렴하고 자동화된 방식으로 확인할 방법이 없어 항상 의구심을 품는 것에 지쳐 있었습니다. 그래서 저는 Claude를 사용하여 저를 대신해 팩트 체크 (fact-checking)를 수행하는 일련의 에이전트 기술 (agent skills) 세트를 구축했습니다.

작동 방식은 이렇습니다. 링크(YouTube, TikTok, 기사, 일반 텍스트 등)를 게시하고 "이게 헛소리(bullshit)인가요?"라고 물어보면 됩니다. 그러면 콘텐츠를 가져오고(비디오의 경우 전사 (transcription), 전사가 없는 경우 로컬에 Whisper를 설치하여 전사할 수 있도록 권한을 요청함), 비디오 전사 내용을 개별 주장으로 나눈 뒤, 웹 검색을 통해 각 주장을 검증하고 보고서를 생성합니다. 무엇이 확인되었는지, 무엇이 확인되지 않았는지, 무엇이 검증 불가능한지, 그리고 모든 판결에 대한 출처 링크를 함께 제공합니다. 또한 0~10 사이의 전체적인 BS 점수(헛소리 점수)도 제공합니다. 가장 중요한 규칙은 '출처 없는 판결은 없다'는 것입니다. 모델은 자신의 기억만으로 "이것은 사실이다"라고 말할 수 없습니다.

다음은 최근 기술 릴리스 중 하나로 생성된 실제 보고서입니다: https://serhiikorniienko.github.io/bullshit-detector/examples/0.13.0/report-south-korea-ai-bubble.html 270만 회 이상의 조회수를 기록한 "AI 버블" 영상에서 추출한 60개의 주장 중 44개가 개별적으로 확인되었습니다.

Claude 관련 세부 사항을 말씀드리자면, 이 도구는 플러그인 (plugin) 형태로 제공됩니다 (해당 리포지토리는 Matt Pocock의 기술에서 영감을 받은 자체 마켓플레이스입니다). 또한 단순한 기술 (skills)과 Python 스크립트로 구성되어 있어, 기술 형식이 호환되는 다른 모든 환경에서도 작동합니다. 완료된 보고서의 수치를 계산하고 수치가 맞지 않을 경우 수정하는 스크립트가 포함되어 있습니다. 테스트 과정에서 AI가 간단한 산수조차 너무 틀리는 것을 보고 AI의 계산 능력을 더 이상 신뢰하지 않기로 했기 때문입니다.

이제 수치에 대해 말씀드리겠습니다. 약 일주일 전 출시 후:

• GitHub에서 115개의 스타 (stars), 6개의 포크 (forks), 19개의 릴리스 (releases)
• Hacker News가 출시의 모든 것을 담당했습니다 - 65점, 71개의 댓글, 거의 모든 트래픽이 그곳에서 유입되었습니다.
• 제 X 계정은 크지 않아서 - 190회의 노출 (impressions), 3개의 좋아요 (likes)
• LinkedIn: 300회의 노출, 8개의 좋아요, 1개의 댓글

한 채널이 모든 것을 해냈고, 나머지 두 채널은 기본적으로 시간 낭비였습니다. 하지만 공정하게 말하자면, 저에게는 많은 팔로워가 없으므로 이 수치들을 액면 그대로 믿지는 마시기 바랍니다.

완전한 실패였습니다. 그 일로 꽤 비싼 교훈을 얻었죠. Hacker News는 AI 텍스트에 대해 ZERO(제로)의 관용도 허용하지 않습니다. 말 그대로 제로입니다. 저는 첫 댓글을 Claude로 작성했는데, 즉시 플래그(flagged) 처리되었습니다. 다시 게시하려고 시도했지만 두 번이나 플래그가 지정되었습니다. 계정이 아니라 댓글이 차단된 것입니다. 고객 지원팀에 문의했지만 응답이 없었습니다. 그러다 한 댓글 작성자가 HN이 AI 슬롭(AI-slop) 탐지기를 운영하거나 사람들이 신고를 한다고 말해주기 전까지는 말이죠 (정확히 어떻게 작동하는지는 모르겠습니다). 제가 직접 타이핑한 댓글들은 모두 살아남았고, 우리는 아주 좋은 토론을 나누었습니다. 그러니... 만약 HN이나 다른 플랫폼에 글을 올릴 계획이 있다면 AI를 사용하지 마세요. 그냥 당신의 말을 최선을 다해 직접 쓰세요. 제가 왜 여기 있냐고요? 스타(stars)나 화제성 때문이 아닙니다. 저는 진심으로 비판과 피드백을 원합니다. 여러분에게 이 도구가 정말 필요할까요? 무엇을 확인하고 싶으신가요? 이 도구에서 가장 부족한 점은 무엇인가요? 어떤 부분이 터무니없어 보이나요? MIT 라이선스이며, 추가적인 API 키나 구독 없이(사용자의 AI 제외) 작동합니다. https://github.com/SerhiiKorniienko/bullshit-detector 감사합니다, Reddit 동료 여러분 <3 /u/SerhiiKorniienko에 의해 제출됨 [link] [comments]