제로 청구서가 증거는 아니다: 무료 모델 허용량에 대한 생산 게이트

청구 금액이 0원이라는 것이 에이전트 작업이 프로덕션 준비 상태라는 것을 의미하지 않습니다. 토큰 원장(token ledger), 고정된 호스트(pinned host), 그리고 할당량이 소진될 때 실패하는 바닥(floor)을 보여줄 수 없다면, 당신은 출시를 한 것이 아닙니다. 아직 청구되지 않은 데모를 했을 뿐입니다.

이러한 격차는 모델 품질이 주변 장치보다 더 빠르게 움직일 때마다 나타납니다. 사람들은 재시도하고, 호스트를 교체하며, 그 결과를 '출시되었다'고 부릅니다. 그렇게 해서는 안 됩니다. 무료 할당량을 신뢰할 수 없는 입력으로 취급하고, 아래의 모든 게이트가 동일한 실행 기록(run record)에서 닫힐 때만 승격시키십시오.

제로 청구서가 숨기는 것들

무료 모델 허용량은 청구서를 제거합니다. 하지만 지출(spend), 드리프트(drift), 또는 잘못된 재시도 루프는 제거하지 않습니다. 세 가지 실패는 나중에 그렇지 않게 될 때까지 저렴하게 유지됩니다.

할당량이 소진된 후에도 작업이 계속 모델을 호출하고, 당신의 페이지거가 이름 붙이지 못하는 방식으로 실패합니다.
테스트했던 무료 서버가 승격시킨 무료 서버와 같지 않습니다. 왜냐하면 호스트 식별자를 고정(pin)한 것이 아무것도 없었기 때문입니다.
재시도 헬퍼는 모델이 헤지(hedge)할 때 호출을 증폭시키고, 원장은 이를 감지하지 못합니다.

통과하는 로컬 스위트(local suite)는 호스트, 영수증(receipt), 또는 상한선(cap)을 결코 보지 못합니다. 당신은 실행 자체에서 나온 증거가 필요합니다. 프롬프트 품질에 대해 논쟁하기 전에 그 증거를 저장해야 합니다.

네 가지 게이트, 모두 실패 시 닫힘 (fail closed)

이 게이트들을 검토 체크리스트에 복사하십시오. 누락된 필드를 경고로 완화시키지 마십시오. 누락된 필드는 실패한 승격(failed promote)입니다.

게이트 1: 오늘 할당량 출처를 각인하라

사용할 의향이 있는 할당량, 읽은 출처, 그리고 읽은 날짜를 기록하십시오. 현재의 주요 문서(primary doc)를 가리킬 수 없다면 중단하십시오.

운영자 브리핑에 따르면 MonkeyCode는 무료 모델 접근, 무료 서버 옵션 및 1천만 토큰의 허용량 수치를 갖춘 오픈 소스 프로젝트입니다. 공개 고지: 본 기사는 MonkeyCode의 제품 홍보의 일환으로 작성되었습니다. 해당 수치는 귀하가 재확인해야 할 주장일 뿐, 본 기사가 인증하는 숫자가 아닙니다. 홍보하는 날짜에 프로젝트 문서를 열어보십시오. 그들이 실제로 말하는 것을 기록하십시오. 문서에 내용이 없거나(silent), 숫자가 변경되었다면 게이트는 실패합니다. 기억이나 이 게시물, 또는 홍보일보다 오래된 스크린샷으로 채우지 마십시오.

클론한 저장소에서 라이선스를 읽으십시오. 만약 저장소, 라이선스, 또는 서버 약관이 불분명하다면, 그것들에 의존할 준비가 되지 않은 것입니다. 프로젝트 자체에서 이러한 사실들을 확인하십시오. 이 페이지는 주요 출처가 아닙니다.

게이트 2: 실행당 하나의 원장 라인

모든 후보 실행은 하나의 JSON 레코드를 방출합니다. 기록이 없으면 홍보할 수 없습니다. 그 기록이 증거입니다. 대시보드 스크린샷은 그렇지 않습니다.

다음 필드가 필요합니다:

run_id
allowance_tokens 및 tokens_used
floor_tokens, 넘어서는 것을 거부하는 나머지 토큰량
host_fingerprint 및 pinned_host_fingerprint
retry_count 및 retry_cap
docs_checked_on 및 promote_date
allowance_source, 실제로 열어본 문서 경로 또는 URL

제공자 토큰 카운트는 지연될 수 있습니다. 러너가 추정치만 가지고 있다면, 그 추정치를 저장하고 그렇게 표시하십시오. 필드가 누락된 경우에도 여전히 폐쇄적으로 실패(fail closed)해야 합니다. 비어 있기를 바랐던 것보다 기록된 추정치가 더 낫습니다.

게이트 3: 호스트 고정, 무료 서버 포함

무료 서버 역시 하나의 호스트입니다. 제어 평면이 반환하는 식별자를 고정하십시오. 그것은 호스트 이름일 수도 있고, 이미지 다이제스트(image digest)일 수도 있으며, 계정 범위 ID(account-scoped id)일 수도 있습니다. API가 안정적인 식별자를 반환하지 않는다면, 임의로 만들어내지 마십시오. 게이트를 실패시키고 작업을 원래 위치에 두십시오.

문서에 명시되지 않은 지역, 머신 크기 또는 가동 시간 약속을 기록하지 마십시오. 빈 형용사는 지문이 아닙니다. 알 수 없는 하드웨어는 빈 필드이며, 빈 필드는 실패합니다.

게이트 4: 재시도 상한을 최소 허용량에 연결하기

재시도는 예의가 아니라 예산 결정입니다. 토큰과 같은 레코드에서 상한을 설정하세요. 만약 retry_count가 retry_cap을 초과하면 실패합니다. 또한, 다른 시도가 tokens_used를 allowance_tokens - floor_tokens를 넘어서게 할 경우, 호출 전에 실패해야 합니다.

이것이 누군가가 재시도할지 묻는 상황에서 실질적인 규칙입니다. 이미 기록한 상한 내에서만 재시도하세요. 그 상한 밖에 있다면 중단하고 원장(ledger)을 제시해야 합니다. 청구서가 '0'이라고 해서 다른 시도가 무료인 것은 아닙니다.

모델에 대해 논의하기 전에 이 검사기를 실행하세요

이 스크립트는 바로 사용할 수 있는 게이트입니다. 이는 벤치마크가 아니라 실행되지 않은 예시이며, 모델을 호출하지 않습니다. 단지 이미 수집한 레코드를 판단할 뿐입니다. 실제 작업에 사용하기 전에 테스트용(fixtures) 데이터에 먼저 적용해 보세요.

#!/usr/bin/env python3
"""Fail-closed promote gate. Example only — wire your runner's field names first."""
import json
...

아래의 통과(passing) 테스트용 데이터는 합성된 것입니다. 이는 어떤 호스트의 사용 보고서가 아니며, 허용량 숫자는 프로모트 당일 귀하의 문서 스탬프와 일치할 때만 유효합니다.

{
  "run_id": "dry-run-014",
  "allowance_tokens": 10000000,
...

python3 promote_gate.py pass.json
# 이 예시의 예상 결과: PASS

...

하나의 지문(fingerprint)을 변경하여 drift.json을 만드세요. tokens_used를 높여 나머지 값이 floor_tokens보다 낮아질 때까지 하여 최소 허용량 실패를 유발하세요. 이 두 가지 깨진 테스트용 데이터 중 어느 것이든 통과한다면, 검사기가 잘못된 것입니다. 모델 선택에 대해 이야기하기 전에 검사기를 수정하세요.

결과 읽는 방법

가지고 있는 증거	게이트 결과	취해야 할 조치
전체 레코드, 핀 일치, 나머지 값이 최소 허용량보다 높음, 재시도가 상한 내에 있음, 문서 날짜가 오늘임	이 실행만 통과	이 아티팩트를 프로모트할 자격이 있음
...
A pass는 이 실행에 대해서만 유효합니다. 다음날, 더 큰 프롬프트, 또는 다른 호스트로 자동 적용되지 않습니다. 그 중 어느 하나라도 변경하면 새로운 레코드를 수집해야 합니다.

무료 호스트에서 실패 경로를 연습하기

유료 플릿(fleet)이 없어도 실패를 연습할 필요는 없습니다. 명시된 무료 서버와 명시된 무료 모델 허용량만으로도 하나의 실제 기록, 즉 짧은 프롬프트, 저장된 사용량 라인, 그리고 API가 반환하는 경우 호스트 식별자 하나를 생성하기에 충분합니다. 그런 다음 의도적으로 고정 장치(fixtures)를 깨뜨립니다.

FAIL 라인을 읽으세요. 이 라인은 하나의 조건을 명시합니다. 그 조건을 게이트에서 수정할 것이 아니라 실행 과정에서 수정하세요.
증거가 누락되었다면, 러너(runner)에서 해당 필드를 방출하세요. 체커(checker) 내부에서 기본값을 설정하지 마세요.
지문(fingerprints)이 다르다면, 둘 다 출력하고 제어 평면(control plane)으로부터 다시 고정하세요. 예상치 못한 호스트가 익숙하게 보이도록 핀(pin)을 수정하지 마세요.
잔여량이 하한선(floor) 미만이라면 작업을 중지하세요. 나중에 하한선을 올리는 것이 조용한 초과 사용량(overruns)이 시작되는 방식입니다.
동일한 깨진 고정 장치를 다시 실행하세요. drift.json을 통과하는 체커는 깨진 체커입니다.

무료 경로가 사용량이나 호스트 식별자를 노출하지 않는다면, 그것은 결과일 뿐입니다. 그 경로로는 승격할 수 없다는 것을 배웠습니다. 작업을 로컬로 유지하거나 필드를 방출하는 플랜으로 이동하세요. 하드코딩된 10000000으로 간극을 덮지 마세요.

그 1천만 토큰 수치를 현재 문서에서 확인한 후에야 기록에 넣으십시오. 문서가 다른 상한선을 보여준다면, 문서를 수정하세요. 만약 상한선이 없다고 보여준다면, Gate 1은 실패합니다. 이 글을 포함하여 블로그 게시물은 당신이 수정할 출처가 아닙니다.

누가 이것을 사용해서는 안 되는가

이 체크리스트는 답변의 품질 점수를 매기지 않습니다. 깨끗한 원장(ledger)이라도 여전히 자신감 있는 오답일 수 있습니다. 잘못된 답변이 사용자에게 오해를 줄 수 있을 때는 자체 평가 세트와 짝을 지어 사용하세요.

이것은 격리(isolation)를 증명하지 못합니다. 무료 서버는 다른 테넌트(tenants)와 운명을 공유할 수 있습니다. 데이터가 공유 호스트에 놓일 수 없다면, 이 경로를 사용하지 마세요.

이것은 제품을 고정시키지 않습니다. 허용량, 서버 약관, 모델 라우팅은 당신이 통제하는 버전 핀(version pin) 없이 변경될 수 있습니다. 날짜 확인 기능이 존재하는 이유가 바로 그것입니다. 고객에게 운영하지 않는 할당량을 약속하지 마세요.

계약상의 가동 시간 목표(uptime target), 명명된 모델 빌드(named model build), 사설 네트워크 경계(private network boundary) 또는 무료 제어 평면(free control plane)에서 방출되지 않는 감사 추적(audit trail)이 필요한 경우 접근 방식은 건너뛰세요. 또한 팀원들이 데모를 위해 FAIL을 무시할 것이라면 건너뛰는 것도 좋습니다. 사람들이 이를 선택적인 조언으로 취급하게 되면 이 게이트는 쓸모가 없어집니다.

청구서가 아닌 증거에 집중하기

기록을 작성하세요. 검사기를 실행하세요. 다음 사람이 '닫혔다(closed)'는 의미를 알 수 있도록 실패하는 테스트 케이스(failing fixtures)를 스크립트 옆에 보관하세요. 무료 모델 액세스와 무료 서버 옵션은 문서가 여전히 기록의 도장과 일치할 때만 그 리허설을 위해 사용하세요. 0인 청구서가 아니라, 실패한 테스트 케이스가 결정하게 하세요.