youtube-transcript-api가 서버에서 차단되는 이유와 해결 방법 3가지

만약 youtube-transcript-api를 사용해 본 적이 있다면, 이 느낌을 알 것입니다: 노트북에서는 완벽하게 작동하지만, 서버에 배포하면 모든 요청이 RequestBlocked 또는 IpBlocked로 실패합니다.

저는 트랜스크립트 도구를 만들면서 이 문제를 겪었기 때문에 추측 대신 직접 측정했습니다. 어떤 일이 일어났고, 왜 그런지, 그리고 무엇을 할 수 있는지 알려드리겠습니다.

테스트 결과

캡션이 있는 인기 YouTube 동영상 10개를 가져와서 클라우드 서버에서 youtube-transcript-api 1.2.4를 이용해 세 가지 방식으로 트랜스크립트를 가져왔습니다:

또 다른 데이터 포인트로, 제 집 IP도 테스트 당일 오후에 약 20개 요청 후에 차단되었습니다. 따라서 '그냥 로컬에서 실행'하는 것은 소수의 동영상에는 작동하지만 배치(batch) 작업에는 적합하지 않습니다.

원인 분석

이 라이브러리는 공식 API를 사용하지 않습니다. 대신 브라우저가 하는 것처럼 비디오 페이지를 불러온 다음 캡션 트랙을 가져옵니다. 클라우드 및 호스팅 제공업체의 IP 주소는 쉽게 식별할 수 있으며, 그곳에서 발생하는 트래픽은 보통 봇처럼 보이기 때문에 문제가 됩니다. YouTube는 이러한 요청을 거부하며, 라이브러리는 이를 RequestBlocked 또는 IpBlocked로 표시합니다.

해결책 1: 가정용 연결에서 실행하기 (소량만 가능)

몇 개의 동영상에 대해서는 기본 라이브러리만으로 충분합니다:

from youtube_transcript_api import YouTubeTranscriptApi

api = YouTubeTranscriptApi()
...

요청량을 적게 유지하고 간격을 두지 않으면, 가정용 IP도 차단될 수 있습니다.

해결책 2: 자체 프록시 사용하기

이 라이브러리는 프록시 지원 기능을 내장하고 있습니다. Webshare의 레지덴셜 프록시를 사용하여:

다른 제공업체와 함께 사용하거나:

from youtube_transcript_api.proxies import GenericProxyConfig

api = YouTubeTranscriptApi(
...

대역폭 청구서를 확인하세요. 레지덴셜 프록시(Residential proxies)는 보통 GB당 가격이 책정됩니다. 제가 테스트한 결과, 각 비디오를 처리하는 데 프록시를 통해 약 0.4 MB가 이동했습니다 (라이브러리가 자막만 다운로드하는 것이 아니라 전체 시청 페이지를 다운로드하기 때문입니다). $8/GB 기준으로 볼 때, 모든 요청이 레지덴셜로 간다면 트랜스크립트 1,000개당 대략 $3이 나옵니다.

제가 결국 사용하게 된 더 저렴한 방식은 다음과 같습니다. 먼저 데이터센터 프록시(datacenter proxy)를 시도하고, 차단되었을 때만 레지덴셜로 전환하는 것입니다. 데이터센터 프록시는 10개 중 9개를 통과했기 때문에, 나머지 실패한 영상들만 레지덴셜 비용을 지불하게 했습니다. 이 덕분에 제가 측정한 비용은 트랜스크립트 1,000개당 약 $0.50까지 낮아졌습니다.

from youtube_transcript_api import YouTubeTranscriptApi, NoTranscriptFound, TranscriptsDisabled, VideoUnavailable
from youtube_transcript_api.proxies import GenericProxyConfig

...

실제 적용 시 중요한 두 가지 세부 사항:

• 재시도할 때 다른 IP가 해결해 줄 수 없는 오류는 재시도하지 마세요. 자막이 비활성화된 영상은 모든 IP에서 동일하게 실패하므로, 이를 재시도하는 것은 프록시 대역폭만 낭비합니다.
• 모든 시도마다 IP를 변경하세요. 대부분의 제공업체는 연결(connection) 또는 세션(session)당 새로운 IP를 제공합니다. 따라서 재시도가 실제로 IP를 변경시키는지 확인해야 합니다.

해결책 3: 호스팅된 스크레이퍼 사용하기

프록시 관리를 전혀 하고 싶지 않다면, 이를 대신 처리해 주는 호스팅 도구들이 있습니다. 고지: 제가 Apify에서 YouTube Transcript Scraper라는 도구를 만들었습니다. 이 도구는 위에서 설명한 데이터센터-후레지덴셜 루틴을 실행하고, URL이나 ID를 일괄적으로 처리할 수 있으며(Shorts 포함), 선호도 순서대로 언어를 선택할 수 있고, 일반 텍스트와 타임스탬프가 지정된 세그먼트를 반환합니다. 트랜스크립트 1,000개당 $3의 비용이 발생하며, 실패한 영상은 무료입니다.

공식 클라이언트로 Python에서 호출하는 방법:

Apify Store와 다른 곳에도 다양한 가격대의 트랜스크립트 도구들이 있습니다. 필요한 작업량에 맞춰 비교해 보세요.

어떤 것을 선택해야 할까요?

• 영상 몇 개만 한 번: Fix 1. 무료입니다.
• 정기적으로 배치 작업을 수행하고 인프라 운영에 익숙한 경우: 프록시 비용을 낮게 유지하기 위해 데이터센터 우선(datacenter-first) 폴백이 적용된 Fix 2를 사용하세요.
• 파이프라인, AI 에이전트 또는 노코드 워크플로우 내에서 단순히 텍스트만 필요할 경우: Fix 3입니다.

어떤 것을 선택하든, 테스트의 핵심 교훈은 동일합니다. 트랜스크립트 코드가 로컬에서는 작동하지만 서버에서는 실패한다면, 문제는 코드 자체가 아니라 IP 주소 때문이라는 것입니다.

다른 우회 방법을 찾으셨나요? 댓글로 알려주세요. 다른 분들에게 어떤 방법이 효과적인지 궁금합니다.