YouTube 영상에서 도구 및 기술을 자동으로 추출하는 방법

직장 업무를 위해 기술적인 YouTube 영상을 시청한다면, 다음과 같은 문제에 직면했을 것입니다: 40분 분량의 워크스루(walkthrough)에서 수십 개의 도구, 몇 가지 명령어, 그리고 몇 가지 버전이 언급되지만, 한 시간이 지나면 무엇을 언급했는지 기억할 수 없습니다. 이 게시물은 영상에서 언급된 도구와 기술을 자동으로 추출하는 실용적인 파이프라인을 단계별로 보여주며, 단순한 방식의 문제점도 다룹니다.

4단계 파이프라인

1. 스크립트 가져오기 (Get the transcript)
2. 모델이 처리할 수 있도록 청크로 분할하기 (Split it into chunks)
3. 타임스탬프와 함께 후보 도구 추출하기 (Extract candidate tools with their timestamps)
4. 각 후보 검증하고 공식 링크 첨부하기 (Verify each candidate and attach an official link)

각 단계에는 실패 모드(failure mode)가 있습니다. 순서대로 살펴보겠습니다.

1단계: 스크립트 가져오기 (Get the transcript)

대부분의 영상에는 작성자나 자동 생성된 자막이 있습니다. yt-dlp와 같은 라이브러리를 사용하면 타이밍 데이터와 함께 이를 가져올 수 있습니다. 타이밍 정보를 유지하는 것이 중요합니다: 텍스트의 모든 세그먼트는 시작 시간을 가지며, 이것이 나중에 각 도구를 영상의 정확한 순간에 연결할 수 있게 해줍니다.

문제점(Pitfall): 자동 자막은 제품 이름을 망가뜨립니다.

피해야 할 실수는 침묵의 잘림(silent truncation)입니다. 저희 파이프라인의 초기 버전은 7시간짜리 영상에서 고정된 길이로 텍스트를 자르고, 아무에게도 알리지 않고 처음 몇 분만 분석했습니다. 만약 입력 길이를 제한한다면, 출력에서도 그렇게 명시하세요.

단계 3: 타임스탬프와 함께 후보 추출하기 (extract candidates with timestamps)

모델에게 서술형(prose)이 아닌 구조화된 출력을 요청하세요. 각 후보 도구에 대해 이름, 짧은 설명, 카테고리, 그리고 해당 타임스탬프가 포함된 스크립트의 원문 인용구를 요청해야 합니다:

{
  "tools": [
    {
...

두 가지 규칙이 결과를 크게 개선합니다. 첫째, 프롬프트에서 도구로 간주되는 것을 정의하고 제외 항목(일반적인 단어, 채널 이름, 제품이 아닌 회사 이름 등)을 나열하세요. 둘째, 원문 인용구를 필수로 요구해야 합니다. 인용구가 스크립트에 나타나지 않는 후보는 거부됩니다.

청크들을 병합한 후에는 정규화된 이름으로 중복을 제거하고 유효한 타임스탬프가 없는 후보는 삭제하세요.

단계 4: 검증 및 연결 (verify and link)

이것은 대부분의 튜토리얼에서 건너뛰고 가장 중요하게 다루어야 할 단계입니다. 이름만으로는 모호합니다.

직접 구축하는 것보다 적용 사례를 보고 싶다면, 저희는 이 문제를 탐색하기 위해 VidScope를 만들었습니다: YouTube 링크를 붙여넣으면 타임스탬프와 공식 링크가 포함된 언급된 도구 목록을 반환합니다.

FAQ

모든 YouTube 영상에서 도구를 추출할 수 있나요?
스크립트가 있는 모든 영상에서 가능하지만, 자동 자막은 제품 이름을 오기할 수 있습니다.

타임스탬프는 왜 유지하나요?
이를 통해 언급된 시점에 각 도구를 확인할 수 있습니다.

그냥 AI에게 영상을 요약해 달라고 요청하면 안 되나요?
요약은 아이디어를 알려줄 뿐, 정확한 도구, 버전 및 각각에 대한 증거를 거의 제공하지 않습니다.