AI가 만든 영상 검사, 4일간 'OK' 판정을 받은 4개 영상 모두에 문제가 있었다

AI를 이용해 운영하는 유튜브 작업용 BGM 채널 「풍경의 창」에서 6시간짜리 영상을 4편 공개한 후, 네 편 모두에 결함이 있다는 것을 알게 되었다. 각 영상당 39회씩, 4일 동안 아무도 알아차리지 못했다.

문제점: 검사는 매번 'OK'였지만, 내용은 망가져 있었다

영상은 AI (Claude Code)에게 만들게 했고, 완성된 후에는 이것 또한 AI에게 작성하게 한 검사를 거쳐서 공개하고 있었다. 검사 항목은 20가지 이상이었으며, 전부 OK여야 공개했다.

그중에는 「연결 부위(繋ぎ目)」라는 이름의 검사가 있었다. 풍경이 바뀌는 곳에서 영상이 잘못되지 않았는지 확인하는 것이 목적이었다. 4일 동안 매번 OK를 받고 있었다.

하지만 실제로는, 풍경이 바뀔 때마다 영상이 순간적으로 뒤로 돌아가고 있었다. 6시간에 39회. 공개된 네 편 모두에 포함되어 있었다.

AI에게 맡긴 이유는 수월하게 하고 싶었기 때문이다. 6시간짜리 영상을 매번 사람이 처음부터 끝까지 보면서 확인하는 것은 부업으로는 지속하기 어려웠다. 그래서 확인하는 단계까지 기계에 맡기고 싶었다.

검사가 OK라면 내보내도 된다는 전제하에 운영했기에, 사흘이나 알아차리지 못했다.

그래서, 계속 OK를 내주던 검사의 내용을 읽어봤다. 이름은 「연결 부위」였지만, 실제로 보고 있던 것은 다른 것이었다.

그 후, 제대로 되감기(巻き戻り)를 발견할 수 있는 검사로 수정했다. 하지만 수정된 검사 역시 같은 날 3번 연속으로 틀렸고, 정상적인 영상까지 불합격 처리하는 과정을 여러 번 거쳤다.

검사는 실제로 무엇을 보고 있었던가? 어떻게 측정해야 정상적인 영상과 되감기된 영상을 구별할 수 있을까? 내용과 수치는 다음 글에 작성했다.

▶ 유튜브 채널 「풍경의 창」