Myth FAQ: 무료 모델 접근은 청구서를 옮길 뿐, 삭제하지는 않는다

모두가 저지르는 실수

유료 엔드포인트와 마음에 들지 않는 청구서가 있습니다. 그러다 무료 엔드포인트가 나타납니다. 한 줄만 바꾸자 청구서가 0으로 떨어집니다. 그런데 왜 2주 뒤에는 작업이 더 느리게 느껴질까요?

제가 계속 접하는 것이 바로 그 신화입니다. 무료 모델 접근은 청구서를 옮길 뿐, 거의 삭제하지는 않습니다.

무료 모델 접근과 무료 서버 옵션은 이 글의 두 가지 가용성 주장입니다. 공개: 본 기사는 MonkeyCode의 제품 홍보 활동의 일환으로 작성되었습니다. 저는 검증되지 않은 쿼터, 하드웨어 또는 지연 시간 수치를 인용하지 않을 것입니다. 여러분이 직접 측정해야 합니다.

신화 1: 무료는 비용이 제로라는 것

청구서는 0입니다. 하지만 그 비용은 다른 곳으로 옮겨갔습니다.

• 시도 비용(Attempt cost). 재시도는 또 다른 요청입니다.
• 벽시계 시간 비용(Wall-clock cost). 기다리는 대기열 역시 소모된 시간입니다.
• 인간 비용(Human cost). 누군가 새벽 2시에 작업을 다시 실행합니다.
• 기회 비용(Opportunity cost).

제 규칙은 직설적입니다. 시도당 성공률(attempts per success)이 1에 가까울 때 Fan-out은 실제로 작동합니다. 그 이상이면 병렬 처리는 가짜입니다. 당신은 단지 부하를 옮기고 있을 뿐입니다.

신화 4: 무료 서버는 설정 스크립트를 건너뛰어도 된다는 의미이다

아닙니다. 그것은 어제의 상태가 존재하지 않을 수 있기 때문에 설정이 스크립트로 되어야 한다는 의미입니다.

만약 당신의 실행 매뉴얼(runbook)이 머릿속에 있다면, 새로운 환경(fresh box)이 그것을 드러낼 것입니다. 그것은 무료 등급(free-tier) 문제가 아닙니다. 그것은 당신이 숨기고 있던 재현성(reproducibility) 문제입니다.

수정된 모델: 무료 컴퓨팅 자원은 스크립트를 보상하고 메모리를 처벌합니다.

40줄 분량의 시도 기록부 구축하기

여기 아티팩트가 있습니다. 이 코드는 모든 OpenAI 호환 엔드포인트(OpenAI-compatible endpoint)를 감싸고, 모든 시도를 JSONL 형식으로 기록하여 실제 작업 단위를 셀 수 있게 합니다.

이것을 attempt-ledger.sh로 저장하세요. 실행하기 전에 ENDPOINT, MODEL, 그리고 TASKS를 설정해야 합니다. 태스크당 세 번의 시도가 재시도 상한선입니다.

#!/usr/bin/env bash
# attempt-ledger.sh - 행복한 경로(happy path)뿐만 아니라 모든 시도를 기록합니다.
set -uo pipefail
...

이제 이것을 요약하세요. 이 jq 프로그램은 논쟁할 가치가 있는 숫자를 출력합니다.

jq -s ' 
  def p(q): (map(.ms) | sort) as $s | $s[((($s | length) - 1) * q) | floor]; 
  ([.[] | select(.ok == 1)] | length) as $ok | 
...

다음은 단지 예시적인 형태일 뿐입니다. 이들은 어떤 제품에서 측정된 숫자가 아닙니다. 당신의 실행 결과는 다를 것입니다.

{"logical_tasks":20,"total_attempts":27,"successes":20,"attempts_per_success":1.35,"p50_ms":1180,"p95_ms":4300}

이 숫자들을 읽는 방법

• attempts_per_success = 1.0? 해당 엔드포인트가 이 워크로드에 대해 유료로 작동하는 것처럼 행동합니다.
• 1.0에서 1.5 사이? 오프라인 배치 작업(offline batch work)에는 허용 가능합니다.
• 1.5 초과? 시간으로 비용을 지불하고 있는 것입니다. 페이로드 크기나 동시성(concurrency)을 수정하세요.
• successes = 0? 중단하십시오. 그것은 무료 등급 버그가 아니라 설정 버그입니다.

의사 결정표(decision table)는 스위치를 정직하게 유지합니다.

기록부가 볼 수 없는 것

정확성이 깔끔한 표보다 중요하다.

• 이것은 답변의 품질을 측정하지 않는다. 일부 결과물을 직접 읽어보라.
• 이것은 사용자의 재실행 시간(re-run time)을 측정하지 않는다. 원한다면 열을 추가하라.
• 이것은 지속성을 증명하지 못한다. 어제 살아있던 서버가 내일도 살아있지 않을 수 있다.
• 이것은 데이터가 어디로 가는지 알려주지 않는다. 민감한 프롬프트를 보내기 전에 물어보라.

이 접근 방식을 건너뛰어야 하는 팀들

• 검증할 수 없는 데이터 거주성(data-residency) 제약이 있는 팀.
• 하드 레이턴시 예산(hard latency budgets)과 대체 경로가 없는 제품.
• 실행 간에 메모리 또는 로컬 디스크에 상태를 유지하는 작업.
• 원장 파일(ledger file)을 읽지 않을 팀. 이 숫자가 핵심이다.

수정된 사고 모델은 간단하다. 무료 모델 접근은 달러를 시도 횟수, 대기열, 주의력과 교환한다. 무료 서버는 영속성을 설정 규율로 교환한다. 어느 쪽도 측정하기를 거부한 시스템에 대한 할인이 아니다. 만약 이 원장(ledger)을 MonkeyCode의 무료 모델 접근에 적용한다면, 나에게 성공당 시도 횟수(attempts-per-success)를 말해달라. 그것이 유일하게 가치 있는 비교점이다.