4분 읽기 · 748 단어

콘텐츠 생성, 데이터 보강 (Data Enrichment), 오프라인 평가 (Offline Evaluation), 또는 고객 피드백 분석과 같이 대규모 LLM 워크로드를 실행하고 있다면, 아마도 너무 많은 비용을 지출하고 있을 것입니다.

애플리케이션이 즉각적인 1초 미만의 응답 시간을 요구하지 않는 경우, 수천 개의 동기식 (Synchronous) API 요청을 보내는 것은 현금과 속도 제한 (Rate Limits)의 낭비입니다.

이때 등장하는 것이 바로 Batch API입니다. OpenAI 및 Anthropic과 같은 주요 제공업체는 API 비용을 50% 절감하는 동시에 훨씬 더 높은 속도 제한을 제공하는 전용 배치 엔드포인트를 제공합니다. 주의할 점은 무엇일까요? 결과는 24시간 이내에 비동기식 (Asynchronously)으로 처리된다는 것입니다 (물론 실제로는 훨씬 더 빨리 완료되는 경우가 많습니다).

이 심층 분석에서는 Batch API가 어떻게 작동하는지, 그리고 1,000개의 프롬프트를 절반 가격으로 처리하기 위해 프로덕션 환경에 적합한 Python 파이프라인을 어떻게 작성하는지 살펴보겠습니다.

왜 Batch API를 사용해야 하는가?

1. 50% 할인: 표준 REST 호출과 비교했을 때 토큰당 정확히 절반의 가격을 지불합니다.
2. 더 높은 속도 제한 (Rate Limits): 배치 요청은 별도의 대기열 (Queue)에 머물기 때문에, 표준 분당 요청 수 (RPM) 또는 분당 토큰 수 (TPM) 제한에 걸리지 않습니다.
3. 더 적은 재시도 (Retries): 제공업체가 대기열 관리 및 일시적인 네트워크 오류를 내부적으로 처리합니다.

1단계: 배치 파일 준비하기

Batch API는 각 줄이 고유한 custom_id를 가진 개별 API 요청 페이로드(Payload)를 나타내는 .jsonl (JSON Lines) 파일을 요구합니다.

다음은 Python과 공식 openai SDK를 사용하여 1,000개의 프롬프트가 담긴 JSONL 파일을 생성하고 제출하는 방법입니다:

import json
from openai import OpenAI

...

2단계: 완료 여부 폴링(Polling) 및 결과 다운로드

배치가 제출되면 상태를 모니터링할 메커니즘이 필요합니다. 스택에서 지원하는 경우 웹훅 (Webhooks)을 수신하거나 간단한 폴링 (Polling) 스크립트를 실행할 수 있습니다.

다음은 작업 상태를 폴링하고 완료 시 출력을 저장하는 견고한 스크립트입니다:

import time
from openai import OpenAI

...

출력 파싱하기

출력 파일(results.jsonl)은 입력 파일의 구조를 그대로 반영합니다. 각 JSON 객체는 원본 custom_id를 포함하고 있어, 응답을 데이터베이스 레코드에 직접 매핑할 수 있습니다:

{
  "id": "batch_req_123",
  "custom_id": "req-review-0",
...

실무적 시사점 및 권장 사항 (Practical Takeaways & Best Practices)

• JSONL 파일을 로컬에서 검증하세요: 500번째 줄의 구문 오류(syntax error) 하나가 파일 전체를 무효화하지는 않지만, body 내부의 잘못된 프롬프트 파라미터는 개별 요청 실패를 유발합니다. 항상 5개 항목 정도의 배치(batch)로 먼저 테스트하세요.
• custom_id를 현명하게 사용하세요: 응답을 저장할 때 복잡한 매핑 로직이 필요 없도록 기본 키(예: user_12345 또는 doc_9876)를 custom_id 필드에 전달하세요.
• 현실적인 기대치를 설정하세요: 대부분의 배치 작업은 1~3시간 이내에 완료되지만, 서비스 수준 계약(SLA)은 24시간입니다. 사용자 대상의 실시간 기능에는 Batch API를 사용하지 마세요.

결론

작업 부하(workload)가 실시간 사용자 상호작용에 의해 제약받지 않는다면, 표준 동기식 엔드포인트(synchronous endpoints)를 사용하는 것은 비용을 낭비하는 것입니다. Batch API로 전환하는 데는 작성 시간이 한 시간도 채 걸리지 않으며, 하룻밤 사이에 LLM 비용을 50% 절감할 수 있습니다.

이미 LLM 파이프라인에 배치 처리(batch processing)를 통합하셨나요? 여러분의 설정 방식이나 직면했던 예외 사례(edge cases)를 아래 댓글로 공유해 주세요!