새로운 비용 봉투(Envelope) 없이는 소켓을 얻을 수 없다

from dataclasses import dataclass
from enum import Enum

...

이를 스케줄러가 아니라 부스너(bouncer)처럼 이해해야 합니다. 부스너는 다른 방에서 무료 시간을 광고한다고 신경 쓰지 않습니다. 그저 이 티켓이 신선하고, 사용되지 않았으며, 이 문에 맞춰져 있는지 여부에만 관심이 있습니다. 상수(constants)는 공급업체의 사실이 아니라 여러분의 정책입니다. 로그를 보니 8초 만에 프로브가 죽는다면, 샘플이 20을 사용했다고 해서 20개를 유지해서는 안 됩니다.

재시도(retry)는 새로운 봉투(envelope)를 생성합니다. 두 번째 시도는 첫 번째 시도를 상속받지 않습니다. 만약 첫 번째 시도가 프로브 레인에서 실패했다면, 두 번째 시도는 여전히 단독으로 자격을 갖춰야 합니다. 이것이 타임아웃이 같은 프롬프트를 반복해서 사용하는 루프로 변하는 것을 막는 방법입니다. 여러분은 두 번째 시도를 커밋된(committed) 레인으로 옮기고, 미터(meter)를 지정하며, 캡(caps)을 넓힐 수 있습니다. 비어있는 무료 레인을 바라보며 그것이 계획이라고 말할 수는 없습니다.

## 세 줄, 세 가지 이유

`admit.py`로 모듈을 저장하세요. 통과해야 하는 프로브, 프로브 레인에서 실패해야 하는 재시도, 그리고 미터가 없는 커밋된 작업을 수행하는 프로브를 실행해 보세요. 여러분은 세 개의 라인을 원합니다. 이유는 지루해질 때까지 대시보드는 기다릴 수 있습니다.

프로브는 허용되고(admitted), 재시도는 거부되며(refused), 미터가 지정되지 않았기 때문에 커밋된 작업은 거부되는 것을 볼 수 있을 것입니다. 그리고 두 번째 시도를 미터 플래그를 설정하여 커밋된 레인에 다시 구축하면, 게이트가 그것을 허용합니다. 이것이 핵심입니다. 레인을 바꾸거나, 봉투를 바꾸세요. 호출자가 성급하다고 해서 무료 문을 넓히지 마십시오.

거부(refusal)가 놀라울 때면, 모델을 디버깅하기 전에 티켓을 디버깅하세요. 이슈 시간, 전달한 클럭, 그리고 시도 키를 출력하십시오. 만료된 봉투는 HTTP 타임아웃만 읽으면 불안정한 공급업체처럼 보일 수 있습니다.

재사용된 시도 키는 클라이언트 로그만 읽으면 응답이 누락된 것처럼 보일 수 있습니다. 판결(verdict)당 하나의 원장 행을 추가하세요: 작업 ID, 시도 횟수, 레인, 이유, 두 개의 캡, 그리고 클럭입니다. 이 행들만으로 완료(completion)를 열지 않고도 나쁜 밤을 재구성할 수 있습니다.

클럭 스큐(Clock skew)는 해당 행에 포함되어야 합니다. 샘플은 음수 나이를 거부합니다. 왜냐하면 미래의 티켓은 더 신선하지 않기 때문입니다. 그것은 시간에 대한 거짓말입니다.

게이트를 실행하는 호스트와 봉투를 스탬프 찍는 호스트가 1분 차이가 난다면, 30초 TTL(Time To Live)은 모든 것을 거부하고 당신은 모델을 탓하게 될 것입니다. `admit`을 호출하는 것과 동일한 호스트에서 `issued_at_s`를 스탬프하거나 클럭을 먼저 동기화하세요. 버그가 사라질 때까지 TTL을 높여서 거부를 가리는 행동을 하지 마세요. 긴 TTL은 재시도가 한 시간 전의 분위기를 물려받는 방식입니다.

쓰리프트(thrift)처럼 보이는 두 번째 실패가 있습니다. 아주 작은 출력 제한(output cap)을 설정하면, 게이트는 프로브를 허용하고 클라이언트는 요청을 구성할 때 그 제한을 무시합니다. 데이터클래스(dataclass)로는 그것을 막을 수 없습니다.

요청 빌더에서 제한을 강제하세요. 제공자가 하드 최대치(hard max)를 받아들이지 않는다면, 프롬프트를 자르고 계산된 입력이 `input_token_cap`을 초과할 때 전송을 거부해야 합니다. 너무 큰 호출을 단지 장식하는 게이트는 연극일 뿐입니다.

큐 대기 시간은 티켓의 나이에 포함되는 것이지, 무료 대기실이 아닙니다. 먼저 인큐(enqueue)하고 나중에 허용한다면, TTL이 줄 안에서 만료되고 당신은 장애처럼 느껴지는 거부를 발명한 것입니다. 허용하고, 원장을 기록하고, 그 다음에 인큐하세요. 줄이 TTL보다 길다면, 해당 작업은 그 레인에 적격하지 않았다는 의미입니다. 워커가 호출 도중에 죽을 경우 자신이 빚지기 싫어하는 것을 늘릴 때만 TTL을 늘리세요. 기다리는 시간은 할인이 아닙니다.

## 누가 떠나야 하는가

반드시 완료되어야 하는 작업에는 이 패턴을 사용하지 마십시오. 프로브 레인은 설계상 마감일이 없습니다. 호출자가 페이지거(pager), 체크아웃, 또는 계약을 가지고 있다면, 무료 레인은 비어 보일 때조차 잘못된 선택입니다. 비어 있다는 것이 예약되었다는 의미는 아닙니다. 무료 레인은 호출의 형태를 배우는 장소이지, 출시를 숨기는 장소가 아닙.

출력 제한(output cap)을 명시할 수 없을 때는 건너뛰세요. 모델이 얼마나 길게 이야기할지 결정하도록 내버려 두는 것은 봉투(envelope)가 아니라 열린 탭과 같습니다. 원본 리포지토리처럼 청크(chunked)하지 않은 입력에 대해서도 건너뛰어야 합니다. 작은 제한을 걸고 거대한 프롬프트 위에 덮어쓴 다음 호출 시점에 그 제한을 무시하는 경우, 게이트는 거짓말을 받아들일 것입니다.

추정기(estimator)는 양방향으로 틀릴 수 있습니다. 너무 타이트한 제한은 유용한 답변을 잘라냅니다. 너무 느슨한 제한이라도 레인에 맞출 수는 있지만 시도를 낭비할 수 있습니다. 이 게이트는 품질을 점수 매기지 않습니다. 단지 의도하지 않은 시도를 막을 뿐입니다. 평가(evals)가 필요하다면, 그들에게 자체적인 프로브-클래스 봉투를 제공하세요. 평가 스위트(evaluation suite)를 재시도 루프 안에 숨겨두고 무료로 호출해서는 안 됩니다.

여기에는 공급자(provider)를 측정하거나, 모델을 명명하거나, 영구적인 할당량을 주장하는 내용은 없습니다. 무료 접근이 줄어들거나, 무료 서버가 사라지더라도, 정책은 여전히 프로브 레인에 대한 마감일을 거부해야 합니다. 샘플의 숫자는 로컬입니다. 블로그에서 편리하다고 발견한 실패가 아니라 실제로 겪은 실패와 일치하도록 변경하세요.

게이트 아래에서 무료 서버와 프로브-클래스 봉투로 제한된 무료 모델 접근을 원한다면, MonkeyCode는 현재 둘 다 제공하는 곳 중 하나입니다. 어느 것에 의존하기 전에 반드시 실시간 약관(live terms)을 읽어보세요. 티켓이 맞지 않으면 게이트는 여전히 '아니요'라고 말해야 합니다.