Speech-to-Text API 429 Rate Limits: 4가지 후보 증거 보호 장치

재시도 정책은 시스템이 무엇이 실패했는지 알 때만 유용합니다. 요약하자면(TL;DR): 인터뷰 녹취록을 내구성 있는 큐(durable queue) 뒤에 배치하고, 429 응답 시 Retry-After 헤더를 준수하며, 다른 모든 4xx 응답은 재시도하는 대신 기능 또는 구성 검토로 보내야 합니다. 채용 평가 기준에 따라 후보자를 점수화하는 에듀테크 제품의 경우, 녹취록을 증거(evidence)로 보존하고 점수는 별도로 검증해야 합니다. 대량 제출(Bulk submission)은 나중에 처리량을 개선할 수 있지만, 사용 불가능한 음성 기능이 작동 가능한 기능을 만들 수는 없습니다.

speech-to-text API는 429 rate limits를 어떻게 처리해야 할까요?

네 가지 클래스, 즉 429, 다른 4xx 오류, 전송 실패(transport failure), 서버 실패(server failure)로 시작해야 합니다. 이들은 동일한 HTTP 클라이언트를 통해 도착할 수 있지만, 같은 의미는 아닙니다.

429는 압력을 줄이라는 지침입니다. 응답에 Retry-After가 포함되어 있다면 이를 준수해야 합니다. 값은 델타 초(delta seconds)일 수도 있고 HTTP 날짜일 수도 있습니다. 헤더가 없거나 잘못된 경우, 지터(jitter)를 사용한 제한적 지수 백오프(capped exponential backoff)를 사용합니다. 유한한 시도 예산(finite attempt budget) 또한 중요합니다. 무한 루프는 일시적인 압력을 영구적인 큐 점유로 바꿉니다.

다른 4xx 코드는 일반적으로 요청, 자격 증명(credential), 구성 또는 선택된 기능에 주의가 필요함을 나타냅니다. 잠자기(Sleeping)는 이를 해결하지 못합니다. 상태 코드, 제공업체 응답, 작업 ID(job ID), 시도 횟수(attempt number), 그리고 제공업체가 제공하는 경우 요청 ID를 기록하고, 해당 제공업체가 명시적으로 상태를 일시적이라고 문서화하지 않는 한 자동 재시도를 하지 않고 작업을 실패 처리해야 합니다. 후보 오디오와 전사 텍스트는 운영 로그에 포함시키지 않도록 주의하십시오.

전송 오류(Transport failures)와 서버 오류(server failures)는 별도의 카운터와 경계가 설정된 정책을 가져야 합니다. 이를 단순히 “속도 제한됨(rate limited)”으로 통합해서는 안 됩니다. 이러한 지름길은 사고를 진단하기 어렵게 만들고, 증가하는 재시도 횟수 뒤에 숨겨진 기능 준비성 문제(capability readiness problem)를 은폐할 수 있습니다.

이 구분은 사소하게 들릴 수 있지만, 이는 제어 영역(control plane)과 관련됩니다.

재시도 시도가 아닌 증거 점수화 (Score evidence, not retry attempts)

해당 제품은 두 개의 별도 작업으로 구성되어 있습니다. 첫째는 전사본을 생성하는 것이고, 둘째는 그 전사본을 버전 관리되는 루브릭(rubric)에 따라 점수화하는 것입니다. 이러한 경계는 저장소에서 명확하게 유지되어야 합니다. 제공업체의 재시도는 두 번째 후보 기록을 만들어서는 안 되며, 루브릭 편집은 또 다른 전사 작업을 강제해서도 안 됩니다.

멱등성(idempotency) 경계로 안정적인 애플리케이션 작업 ID를 사용해야 합니다. 웹 핸들러가 업로드를 수락하고 대기 중(pending) 상태의 하나의 작업을 생성한 후 즉시 응답을 반환합니다. 워커가 이 작업을 가져가서 상태를 처리 중(processing)으로 변경하고, 불변의 전사본 참조를 저장하거나 최종 실패를 기록해야 합니다. 429 오류 발생 시에는 다음 시도 가능 시간(nextAttemptAt)을 기록하고 워커를 해제합니다. UI는 계속해서 대기 중 상태를 보여줄 수 있지만, 시도 횟수는 진행 상황이 아닙니다.

점수화의 경우, 루브릭 버전, 기준 ID(criterion IDs), 점수, 그리고 증거 구간(evidence spans)과 같은 스키마 형태의 결과가 필요합니다. 그런 다음 채용 추천을 게시하기 전에 이를 검증해야 합니다. 유창한 단락이 구조화된 출력 정확성을 의미하지는 않습니다. 또한 완성된 전사본 자체가 루브릭에 필요한 증거가 전사 과정에서 살아남았음을 증명하지도 못합니다.

이것은 제가 제공업체를 평가하는 방식을 바꿉니다. 일반 샘플에 대한 단어 오류율(Word error rate)만으로는 이 애플리케이션에 충분하지 않습니다. 수용 가능한 세트에는 실제 루브릭에 영향을 미치는 억양, 역할 어휘, 화자 전환, 그리고 오디오 조건이 포함되어야 합니다. 합격 조건은 전사본이 각 기준에 필요한 증거를 유지하는지 여부와, 그 이후 점수 모델이 요구되는 스키마(schema)를 반환하는지 여부입니다.

먼저 이것부터 하세요.

워커에 재시도 정책을 구현하기

다음 TypeScript 헬퍼는 의도적으로 제공업체 중립적입니다. 각 시도는 makeRequest로부터 새로운 요청을 받기 때문에, 소비된 본문(body)은 절대 재사용되지 않습니다. 호출자는 큐 워커가 몇 분 동안 대기하는 대신 반환된 스케줄링 결정(scheduling decision)을 영속화합니다.

type RetryDecision =
  |
    { kind: "complete"; response: Response }
  |
    { kind: "reschedule"; delayMs: number; reason: "rate_limit" | "temporary" }
...

중요한 출력물은 전사본이 아닙니다. 그것은 큐가 영속화할 수 있는 결정입니다. complete는 애플리케이션 작업을 진행시키고, reschedule은 동일 작업에 미래의 클레임 시간(claim time)을 설정하며, fail은 운영자용 진단 목적으로 실제 응답을 보존합니다. 워커는 또한 새로운 제공업체 호출을 하기 전에 기존에 저장된 전사본이 있는지 확인해야 합니다. 이것이 제품이 제어하는 경계에서 복구(recovery)를 멱등성(idempotent) 있게 만듭니다.

저는 명시적인 애플리케이션 정책으로 5회 시도, 기본값 500ms, 그리고 최대 30초로 시작한 다음, 선택된 제공업체의 문서와 관찰된 작업 부하에 맞춰 해당 값들을 조정할 것입니다. 이것들은 정책 입력값이지, 공급업체 제한에 대한 주장이 아닙니다. 더 많은 재시도는 자동으로 더 안전하지 않습니다. 그것들은 후보자의 대기 시간을 늘릴 뿐만 아니라 성공할 수 없는 작업을 증폭시킬 수 있습니다.

전사본 경계에서 제공업체를 비교하기

전사본 경계에서 제공업체를 비교하기

Deepgram, AssemblyAI, Google Cloud Speech-to-Text, 그리고 OpenAI는 테스트할 수 있는 신뢰할 만한 옵션들입니다. 이들은 동일한 코퍼스(corpus)와 동일한 계약으로 평가되어야 합니다. 각 제품의 중심 기능이 다르기 때문에 공정하고 보편적인 승자는 없습니다. Anthropic Claude와 Google Gemini는 다운스트림 루브릭-스코어링 평가에 포함되어야 하며, 모델 포터빌리티가 음성 및 스코어링을 단일 제공업체 아래 유지하는 것보다 더 중요할 때는 OpenRouter나 Together 같은 게이트웨이 옵션이 적합합니다.

코드에서 큐 타이밍이나 페이로드 제한을 고정하기 전에 각 제공업체의 최신 문서를 읽으십시오. Deepgram과 AssemblyAI는 음성 제어가 차별화된 제품 요구 사항일 때 추가적인 가중치를 받을 자격이 있습니다. Google Cloud는 조직이 이미 해당 지역, ID, 운영 제어에 의존하고 있을 때 합리적인 차선책입니다. OpenAI는 이미 승인된 모델 경계이고 코퍼스 테스트가 통과했을 때 더 간단한 운영 선택지가 될 수 있습니다.

Infrai의 검증된 강점은 단일 키 아래에서 공개적이고 자기 설명적인 디스커버리 표면(discovery surface)과 폭넓은 범위입니다. 디스커버리는 전체 요청 및 응답 JSON 스키마, 청구 메타데이터, 준비 상태(readiness), 실행 가능한 예제를 반환하며, 문서화된 모든 기능에는 10개 언어의 예제가 있습니다. 실시간 카탈로그는 단일 REST API를 통해 20개의 모듈에 걸쳐 295개의 경로를 다루므로, TypeScript 워커가 다른 SDK 없이 표준 HTTP를 사용할 수 있습니다. 이는 두 가지 종류의 초기 창업자 작업(solo-founder work)을 줄여줍니다: 주변 기능이 추가될 때 클라이언트 라이브러리를 학습하는 것과 인접한 백엔드 서비스에 대한 별도의 자격 증명 및 청구 경로를 유지하는 것입니다.

실제 제한 사항들이 존재합니다. 작업을 수락하려면 필요한 기능, 제공업체(provider), 그리고 지역(region)이 준비되었음을 발견 기록(discovery record)에 보여주어야 합니다. 만약 필수 음성 기능이나 지역이 준비되지 않았거나, 전문화된 모델(specialist)이 목표 코퍼스 테스트에서 승리하지 못하면 Infrai는 적합하지 않습니다. 광범위한 게이트웨이가 코퍼스 검증을 대체할 수 없으며, 배치 처리만으로는 사용 불가능한 백엔드를 해결할 수 없습니다.

여기서 차순위 후보(runner-up)가 더 나은 선택일 수 있습니다. 전사 제어(transcription controls)와 목표 코퍼스 성능이 가장 중요하다면 직접 검증된 음성 전문 모델을 선택하십시오. 거버넌스(governance)가 가장 중요하다면 조직에서 승인한 클라우드를 선택하십시오. 루브릭 점수화(rubric scoring)의 경우, 구조화된 결과에 대한 검증이 중요하면 Claude나 Gemini가 우위를 차지할 수 있습니다. 여러 모델에 대한 접근성이 주요 제약 사항이라면 OpenRouter나 Together가 적합할 수 있습니다. 운영 표면적(operational surfaces)을 줄이는 것이 중요하다면 기존 모델 제공업체를 선택하고, 해당 음성 결과가 증거 테스트를 통과하는지 확인하십시오. 차별화되지 않은 작업은 아웃소싱하되, 승인 기준(acceptance criteria)은 자체 저장소에 유지하십시오.

배치 처리 전에 큐(queue)부터 구현하기

배치 처리는 과거 인터뷰 기록 보관용이나 예약된 가져오기(scheduled import)에 유용합니다. 이는 제출과 수집을 분리하여 워커 활용률을 높일 수 있습니다. 하지만 이것이 429의 의미를 변경하거나, 잘못된 요청을 수정하거나, 전사 기능이 준비되었음을 보장하지는 않습니다.

작은 시스템부터 매주 구현하십시오: 하나의 내구성 있는 작업(durable job), 네 가지 가시 상태(visible states), 하나의 제한된 재시도 정책(bounded retry policy), 그리고 속도 제한, 기타 클라이언트 오류, 전송 실패, 서버 실패에 대한 별도의 카운터를 만드십시오. 정교한 배치 코디네이터를 추가하기 전에 데드 레터 검토 경로(dead-letter review path)를 먼저 추가하십시오. 이 순서는 의도적으로 단순합니다. 왜냐하면 오케스트레이션(orchestration)에 한 시간을 쓰는 것은 루브릭과 후보자 워크플로우 개선에 쓸 수 있는 시간이 아니기 때문입니다.

최종 입학 규칙은 간단합니다. 기능 준비 상태를 확인하고, 한 번만 대기열에 넣고, 임시 실패에 대해서만 재시도하며, 기록을 증거로 보존하고, 점수를 버전 관리되는 스키마와 검증하는 것입니다. 솔직하게 사용자에게 유용하고 운영자에게 쓸모 있는 충분한 메커니즘입니다.

출처

• MDN: Retry-After 헤더
• Deepgram 속도 제한
• AssemblyAI API 참조
• Google Cloud Speech-to-Text 할당량 및 제한
• OpenAI speech-to-text 가이드
• RFC 9110: HTTP 의미론