밤에 실행하는 LLM 작업이 두 배의 가치를 지닌 이유: 주요 공급업체들이 하루 기다림에 대해 50% 할인 제공

대규모 언어 모델(LLM) API 비용 절감 전략: 배치 처리 활용법

제가 보는 대부분의 LLM 코드는 마치 사람이 스피너를 쳐다보고 있는 것처럼 작성되어 있습니다. 모든 요청은 동기적(synchronous)이며, 각 작업은 50개의 병렬 워커로 분산되고, 그 대가는 전액 청구됩니다.

하지만 이 많은 작업 중 상당 부분은 새벽 3시에 실행됩니다. 아무도 그것을 기다리지 않습니다. 그리고 세 주요 공급업체 모두 정확히 그러한 종류의 작업에 대해 가격을 절반으로 낮출 것입니다. 단지 여러분이 기다릴 의향이 있다고 알려주기만 하면 됩니다.

먼저 두 가지 용어를 알아야 합니다. **토큰(token)**은 대략 단어의 3/4 정도 크기이며, 모델들은 토큰 백만 개당 비용을 청구합니다. 입력(input)(사용자가 보내는 것)이 출력(output)(모델이 작성하는 것)보다 저렴합니다. **배치 API(Batch API)**란 한 번에 여러 요청을 업로드하고, 자리를 비운 다음, 나중에 답변을 다운로드할 수 있는 별도의 엔드포인트입니다.

공급업체들이 제시한 조건 (2026년 10월 15일 확인 기준)

• OpenAI: "동기적 API 대비 50% 비용 할인." 각 배치는 보통 그보다 빨리, 최대 24시간 이내에 완료됩니다. 배치당 최대 50,000개의 요청 또는 200MB까지 처리 가능합니다. 채팅, 응답(responses), 임베딩(embeddings), 검열(moderations) 및 이미지 처리에 모두 적용됩니다.
• Anthropic: "표준 API 가격 대비 모든 사용량에 대해 50% 할인" — 입력, 출력 등 모든 항목이 포함됩니다. 배치당 최대 100,000개의 요청 또는 256MB까지 처리 가능하며, "대부분의 배치는 1시간 이내에 완료되며", 하드 만료 시간은 24시간입니다. 만료된 요청은 청구되지 않습니다.
• Google Gemini: "표준 비용의 50%". 목표 처리 시간은 24시간이며, "대부분의 경우 훨씬 빠릅니다." 작업은 48시간 후에 만료됩니다.

동일한 레버리지, 동일한 규모가 모든 곳에 적용됩니다. 즉, 몇 초 안에 답변을 받을 것이라는 보장을 포기하는 대신, 절반 가격을 얻는 것입니다. 이것이 전체 거래의 핵심입니다.

달러로 환산하면 어떤 모습인가

현실적인 백그라운드 작업 예시: 매일 밤, 하루 동안 받은 20,000개의 지원 티켓을 내부 대시보드를 위해 요약합니다. 각 티켓은 입력으로 약 1,500 토큰, 출력으로 200 토큰이 필요합니다. 저는 공식 가격이 입력 토큰 백만 개당 $2, 출력 토큰 백만 개당 $12인 GPT-5.6을 사용하겠습니다.

TICKETS, IN_TOK, OUT_TOK, NIGHTS = 20_000, 1_500, 200, 30
PRICE_IN, PRICE_OUT = 2.00, 12.00          # GPT-5.6, $ per 1M tokens, official

...

월 $3,240 대 월 $1,620, 동일한 요약본이 아무도 출근하기 전에 같은 대시보드에 도착합니다. 코드를 변경하는 유일한 부분은 요청을 보내는 곳과 수집하는 시점입니다.

병렬 처리(parallelism)가 이 숫자에 어떤 영향을 미치는지 주목하세요: 아무것도 아닙니다. 50명의 작업자가 작업을 완료하는 데 3시간이 아닌 20분이 걸리지만, 토큰당 전액을 지불합니다. 동시성(Concurrency)은 속도를 사고, 배치(batch)는 가격을 삽니다. 새벽 3시에 당신에게 필요한 것은 속도가 아닙니다.

기다릴 수 있는 작업들

간단한 테스트: 답변이 내일 아침에 도착해도 아무도 알아차리지 못할까요? 그렇지 않다면, 그것은 배치(batch)에 포함되어야 합니다. 일반적인 후보들은 다음과 같습니다:

• 라벨링(Labeling) — 티켓 태그 지정, 리뷰 분류, 학습 세트를 위한 스팸 표시.
• 아카이브 요약(Summarizing an archive) — 작년 회의 녹취록, 누적 문서 더미.
• 임베딩(Embeddings) — 텍스트를 검색을 위한 숫자 벡터로 변환. 지식 기반에 대한 재임베딩은 교과서적인 배치 작업입니다 (OpenAI는 임베딩을 직접 배치 처리합니다).
• 야간 보고서 및 평가(Nightly reports and evals) — 새로운 모델 버전에 대해 테스트 프롬프트를 실행하는 것.

제가 스스로 제기할 수 있는 반론이 있습니다:

규칙: 작업의 넓은 부분(수천 개의 독립적인 항목)은 배치 처리하고, 좁은 부분(종속적인 단계, 사람이 기다리는 부분)은 동기식으로 유지합니다.

배치가 해결하지 못하는 것들

배치 처리가 나쁜 프롬프트를 더 싸게 만들지는 못합니다. 1,500 토큰짜리 티켓을 600 토큰까지 줄일 수 있었다 해도 절반 가격에서는 여전히 낭비입니다. 결과는 어떤 순서로든 돌아올 수 있으므로 자체 ID를 사용하여 일치시켜야 합니다. Anthropic은 배치 처리와 프롬프트 캐싱 할인이 중첩된다고 언급하지만, 배치 내부의 캐시 적중(cache hits)은 '최선의 노력(best-effort)'이므로 이에 예산을 책정하지 마십시오.

그리고 저희 측의 솔직한 한계점도 있습니다. 저희는 이러한 모델을 공급업체의 공식 가격보다 10~25% 저렴하게 재판매하는 게이트웨이를 운영합니다. GPT-5.6은 $2/$12 대비 $1.70/$10.20이며, 이는 위에서 언급한 작업을 월 $2,754로 만듭니다. 저희는 배치 엔드포인트와 임베딩(embeddings)이 없습니다. 게이트웨이 할인과 공급업체 배치 할인은 서로 다른 레버리지입니다: 저희의 할인은 동기식 상호작용 트래픽에 적용되며, 배치의 50% 할인은 기다릴 수 있는 작업에만 적용되고, 현재는 공급업체에 직접 가야만 받을 수 있습니다. 새벽 3시에 실행되는 작업의 경우, 공급업체의 배치 처리가 저희보다 우수합니다.

청구 페이지를 열어 모두가 잠든 동안 실행되는 작업을 찾아보십시오. 그리고 그 작업이 정말로 몇 초 안에 답변을 받아야 하는지 물어보십시오.