무료 티어는 조용히 실패하지만, 당신의 테스트 환경(Harness)은 크게 실패해야 한다

# harness.py — 모든 OpenAI 호환 엔드포인트에 대해 고정된 작업 세트를 N번 시도합니다. 기록만 남깁니다. 표가 가득 찰 때까지는 결론이 없습니다.
import asyncio, json, os, random, time
...

async def one_call(client, case, trial):
    t0 = time.perf_counter()
    payload = {
...

async def call_with_retries(client, case, trial, attempts=3):
    for n in range(attempts):
        rec = await one_call(client, case, trial)
...

def summarize(rows):
    passed = [r for r in rows if r[

세마포어(semaphore)를 사용하여 동시성(concurrency)을 제어할 수 있는 노브로 구동하고, 모든 행을 JSONL 형식으로 작성하며, 원본 출력을 보관하세요. 평가자(grader)와 당신의 눈이 의견이 다를 때 처음으로 필요하게 될 것입니다.

## 표를 읽고, 데모는 읽지 마세요

좋은 데모 하나는 모델이 작업을 한 번 수행할 수 있음을 증명할 뿐입니다. 다음 주 화요일에 대해서는 아무것도 증명하지 못합니다. 제가 적용하는 규칙은 다음과 같으며, 저는 실행하기 *전에* 이 임계값(threshold)을 설정합니다. 왜냐하면 실행한 후에는 모든 것을 합리화하게 될 것이기 때문입니다.

| 신호 (Signal) | 사전에 설정한 임계값 (Threshold I set in advance) | 임계값을 넘었을 때 취하는 조치 (What I do when it's crossed) |
| :--- | :--- | :--- |
| pass_rate | 현재 기준선(baseline) 이상 또는 그 이상 | 저렴한 경로의 후보 (candidate for the cheap path) |
| ... | 
그 마지막 행이 사람들이 건너뛰는 부분입니다. 만약 동일한 사례가 트라이얼 1에서는 통과하고 온도 0에서 트라이얼 3에서는 실패한다면, 모델에 문제가 있는 것이 아닙니다. 결정 경계(decision boundary)에 너무 가깝고, 아무리 프롬프트 다듬기(prompt polish)를 해도 해결되지 않는 작업 문제입니다.

## 이것이 깨지는 지점 (Where this breaks)

세 번의 트라이얼은 통계가 아닙니다. 이는 심각한 불안정성만을 포착하는 연기 테스트(smoke test)일 뿐입니다. 만약 신뢰 구간(confidence intervals)이 필요하다면, 사례당 30번의 트라이얼을 예산으로 잡고 토큰 사용량 증가를 받아들이세요.

평가자(grader)가 항상 약한 고리입니다. 너무 엄격한 정규 표현식(regex)은 올바른 답변을 실패로 점수 매기며, 당신은 자신의 버그 때문에 엔드포인트(endpoint) 탓을 할 것입니다. 첫 번째 실행 시에는 거짓 음성(false negatives)을 수동으로 감사하세요—단순히 통과율만 읽지 말고 모든 실패를 읽으세요.

엔드포인트는 표류합니다(drift). 가중치(weights)가 교체되고, 양자화(quantizations)가 변경되며, 속도 제한(rate limits)이 이동합니다. 당신의 표는 날짜가 찍힌 스냅샷일 뿐, 모델의 속성이 아닙니다. 그리고 여기서 핵심은 무료 티어이기 때문에, 무료 티어의 약관은 누군가가 바꿀 수 있다는 것을 기억하세요: 파이프라인을 구축하기 전에 허용량과 서버 제공 사항을 확인하십시오.

## 누가 이것을 해서는 안 되는가 (Who should not do this)

만약 당신의 경로가 사용자에게 노출되고 초 단위(sub-second)로 작동한다면, 무료 티어는 비용을 절감할 장소가 아닙니다. 지연 시간(latency)에 토큰을 사용하는 데 써야 합니다. 만약 레이블링된 태스크 스위트(labeled task suite)가 없고 만들 계획도 없다면, 이 하네스(harness)는 답처럼 느껴지지만 실제로는 그렇지 않은 수치를 제공할 것입니다. 그리고 단 하나의 잘못된 출력이 당신이 절약한 토큰보다 더 많은 비용을 초래한다면, 산술 계산은 이미 결정되었으니 실험을 건너뛰세요.

다른 사람들은: 위의 장치는 아마 90줄 정도일 것이고, 당신이 이미 평가하고 있는 같은 무료 서버 티어에서 실행됩니다. 그것을 야간 스케줄로 배치해 두세요. 하네스는 스크린샷이 아니라 일련의 과정으로서만 가치가 있습니다. 그리고 패스율(pass rate)을 보기 전에 p95 열을 보세요. 그곳에 진실성이 담겨 있습니다.