무료 모델 액세스를 선택하기 전에 폴백 경로를 작성하세요

비교표가 나오기 전에 제가 내린 결론은 이렇습니다. '무료, 유료, 아니면 자체 호스팅?'이라는 질문은 사실 '답변이 '아니요'일 때 제 코드가 30초 동안 무엇을 하는가?'라는 질문입니다. 저는 한 주 동안 팀들이 백만 토큰당 가격에 대해 논쟁하는 것을 지켜봤지만, 그들의 재시도 로직은 상한선이나 폴백(fallback)이 없는 단순한 while True 루프였습니다. 먼저 실패 시 동작 방식을 정하면, 어떤 서비스를 선택할지 여부는 거의 기계적인 과정이 됩니다.

무료 모델 액세스는 역설적으로 불편하기 때문에 매력적입니다. 그 용량은 사용자 소유가 아니기 때문에, 이와 관련하여 다운스트림(downstream)에 대해 어떠한 약속도 할 수 없다는 것입니다. 이것은 특정 공급업체의 결함이 아니라, 비용을 지불하고 예약하지 않은 모든 것에 내재된 속성입니다. 엔지니어링적 대응은 무료 티어(free tier)를 불신하는 것이 아니라, 이를 사고 발생 보고서가 아닌 코드의 정상적인 분기(branch)로, 제한된 주(throttled primary)를 만드는 것입니다.

저는 MonkeyCode를 이 비교의 '무료' 끝점으로 사용하고 있습니다. 왜냐하면 MonkeyCode는 무료 모델 액세스와 무료 서버 옵션이라는 두 가지를 제가 추측 없이 제시할 수 있기 때문입니다.

면책 조항: 본 기사는 MonkeyCode의 제품 홍보의 일환으로 작성되었습니다. 할당량, 하드웨어 및 약관은 시간이 지남에 따라 변경되므로, 계획을 세우기 전에 현재 제공되는 혜택을 직접 확인하십시오. 이 게시물은 무료 모델 액세스와 무료 서버 옵션이 존재한다는 운영자 제공 주장에만 의존합니다.

어떤 가격표보다 중요한 세 가지 질문

가격 페이지를 열기 전에, 답을 적어두고 레포지토리(repo)에 넣어 두십시오. 이 세 가지 질문의 답변이 어떤 스프레드시트보다도 빠르게 결정을 내리기 때문입니다. 엔드포인트가 거부할 때 새벽 2시에 누가 책임질 것인가? 요청이 제한될 때 사용자에게 무엇을 보여줄 것인가 — 스피너(spinner), 저하된 답변, 아니면 환불 요청인가? 대기열에 쌓인 작업은 답변이 유용하지 않게 되기 전에 얼마나 오랫동안 용량의 부족한 기간을 버틸 수 있는가?

솔직한 답변이 '나, 저하된 응답, 그리고 약 30초'라면, 이는 폴백(fallback) 경로가 존재하는 한 무료 용량을 허용하는 워크로드(workload)를 설명하는 것입니다. 만약 '고객, 장애, 그리고 절대 아님'이라면, 이는 예약된 커밋먼트(reserved commitment)가 필요한 워크로드를 설명하며, 어떤 무료 티어(free tier)도 이를 구제해 줄 수 없습니다. 비교 테이블은 이러한 답변들 이후에 나오는 것이지, 그 자체를 대체할 수는 없습니다.

1단계 — 숫자로 방어 가능한 워크로드 프로파일링하기

무엇이든 비교하기 전에 작은 파일을 작성하여 나중에 하는 모든 주장이 검증될 무언가를 갖도록 하세요. 제 경우 보통 workload.yaml처럼 생겼습니다.

workload: support-triage
calls_per_minute_peak: 40
median_prompt_tokens: 1800
...

최대 속도(peak rate)는 리미터(limiter)의 상한선을 설정하므로, 마음에 드는 반올림된 숫자를 명명하기보다는 측정해야 합니다. fallback 라인이 중요합니다. 만약 이 라인이 아직 구축하지 않은 무언가를 언급한다면, 그것이 당신의 첫 번째 과제이지 마지막 과제가 아닙니다. 그리고 data_sensitivity는 자체 호스팅(self-hosting)이 라이프스타일 선호인지 아니면 강력한 제약 조건인지를 조용히 결정합니다.

2단계 — 모든 호출 앞에 어드미션 컨트롤러 배치하기

이 래퍼(wrapper)가 실제 결과물이며, 오후 안에 작성할 만큼 작습니다. 이는 토큰 버킷(token bucket)을 사용하여 자체 트래픽을 형성하고, 지터(jitter)를 사용해 재시도하며, 요청을 처리한 경로를 반환하여 나중에 이를 계산할 수 있게 합니다.

# admission.py
from __future__ import annotations
...

호출자가 결코 하지 않는 것을 주목하세요: 사용자에게 절대 예외(raise)를 발생시키지 않으며, 단일 엔드포인트에서 영원히 기다리지 않습니다. 이 버킷은 주 경로가 자체 트래픽 급증으로부터 보호되도록 하며, 그 rate는 실제로 관찰하는 어떤 제한치보다 보수적으로 낮게 설정해야 합니다. 왜냐하면 추측은 계약이 아니기 때문입니다. 튜플 반환은 의도적입니다 — 모든 응답을 `

아직 실행된 적 없는 폴백 경로(fallback path)는 주석과 같으므로, 프로덕션 환경에서 신뢰하기 전에 테스트해야 합니다. 이 테스트는 짧으며, 다음 문제를 정확히 포착합니다. 즉, 기술적으로 연결되어 있지만 예외가 먼저 발생하여 도달할 수 없는 폴백입니다.

# tests/test_admission.py
from admission import Retryable, TokenBucket, complete

...

python -m pytest -q tests/test_admission.py로 실행하고 나중에 다음 단언(assertion)을 추가하세요. 즉, 버킷을 모두 소진한 후에도 버킷 자체가 False를 반환하는지 확인하여 무한 루프가 어떤 것도 과도하게 사용하지 못하도록 해야 합니다. 그런 다음 스테이징 환경에서 경로 레이블과 함께 카운터를 방출하고 허용할 수 없는 폴백 비율에 대해 경보를 설정하세요. 5%는 정상일 수 있지만, 40%라는 것은 버킷 크기를 잘못 지정했다는 의미입니다.

단계 4 — 세 가지 옵션을 자체 프로필과 비교하여 점수 매기기

이제 비교는 지루해야 하는데, 이것이 요점입니다. workload.yaml의 각 줄을 세 개의 열 중 하나에 매핑하고 셀 내용을 정직하게 유지하세요.

The 대부분의 실제 사례를 결정하는 열은 마지막으로 게으른 열, 즉 구축해야 하는 것입니다. 무료 액세스를 선택하는 것은 작업이 전혀 없다는 것을 의미하는 것이 아니라, 청구서가 아닌 복원력(resilience)에 작업을 투입하기로 선택하는 것이며, 이 거래는 폴백 답변이 사용자에게 허용 가능한 경우 정확히 그 가치가 있습니다. 자체 호스팅을 선택하는 것은 동일한 작업을 용량 계획 및 업그레이드로 옮기는데, 이는 더 긴 지평선을 가진 다른 업무입니다.

제한 사항 및 건너뛰어야 할 사람들

저는 청구 작업이나 고객이 특정 지연 시간에 대해 비용을 지불한 것과 같이, 품질 저하된 답변이 약속을 깨뜨릴 수 있는 경로에서는 이 패턴을 실행하지 않을 것입니다. 또한 리트라이 예산(retry budget)을 관리할 사람이 없는 팀에게도 권장하지 않습니다. 왜냐하면 소유되지 않은 제한기(limiter)는 아무도 알아차리기 전까지는 아무도 눈치채지 못하는 조용한 스로틀링이 되기 때문입니다. 그리고 데이터가 통제 가능한 경계를 벗어날 수 없다면, 래퍼(wrapper)가 아무리 좋아도 무료 및 유료 열은 단순히 고려 대상에서 제외됩니다.

이 모든 것은 제가 오늘 검증할 수 없는 숫자에 달려 있으며, 이는 의도적입니다. 용량 제공(capacity offers), 할당량(quotas), 그리고 머신 사양(machine specifications)은 변경되므로, 오래된 수치에 기반한 계획은 계획 자체가 없는 것보다 더 나쁩니다. 변하지 않는 것은 거절을 살아남는 코드의 형태입니다.

이 비교의 무료 측면을 시도하고 싶다면, MonkeyCode 프로젝트가 오픈 소스이며, 무료 모델 액세스와 무료 서버 옵션 부분이 가장 먼저 테스트할 가치가 있습니다. 래퍼를 가져와서 폴백 경로(fallback path)가 적합한지 알려주도록 하세요.