재시도 세금 원장(Retry-Tax Ledger)을 이용한 무료 슬롯 낭비 디버깅

밤에 실행되는 임베드 작업 페이지는 현지 시간으로 02:14에 당신에게 도착합니다.
무료 슬롯은 여전히 보드에 남은 용량을 보고합니다.
배치 마감일은 이미 11분이나 지났습니다.

이 페이지를 특정 장애가 아니라 종합적인 점검(composite drill)으로 취급하세요.
녹색 배지(green badge)에서 비롯된 것이 아니라, 그 증거로부터 어떤 조치가 따라와야 할까요?
배지가 녹색으로 유지된다고 해서 단순히 워커를 추가해서는 안 됩니다.

다음 배치(batch)를 수락하기 전에 무료 슬롯의 가격을 책정해야 합니다.
남은 용량(Spare capacity)은 결정 자체가 아니라 미끼일 뿐입니다.

남은 용량이 숨기고 있는 것들

남은 용량은 저렴한 경로와 같은 것이 아닙니다.
무료 토큰 가격이라도 당신의 밤 시간(nightly window)을 낭비할 수 있습니다.
재시도는 이미 실패했던 시도에 대해 당신이 사용했던 작업을 중복합니다.

이 메모는 가격 책정 브로슈어가 아니라 운영 비용 점검(ops cost drill)입니다.
당신은 선언된 작업량(declared workload)을 대상으로 로컬 원장(local ledger)을 실행할 것입니다.
재시도 세금(retry tax)이 예산을 초과할 때 무료 경로의 작업을 거부할 것입니다.

코드를 작성하기 전 토폴로지

스크립트를 작성하기 전에 다이어그램에 네 개의 상자를 배치하세요.

• 배치 클라이언트(batch client)는 마감일과 예산이 설정된 각 작업(job)을 제출합니다.
• 수락 원장(admission ledger)은 모든 enqueue 호출 이전에 해당 작업을 점수화합니다.
• 무료 슬롯은 유일한 경로가 아니라 하나의 경로입니다.
• 예약된 워커(reserved worker)는 세금(tax)이 높아질 때의 롤백 경로입니다.

작업량은 나중에 채팅 스레드에서가 아니라 설정(config)에 선언하세요.

window_seconds: 900
jobs: 40
input_tokens_per_job: 1200
...

이 숫자들은 라이브 측정값이 아니라 선언된 테스트 입력값입니다.
거부(reject)를 신뢰하기 전에 이 값들을 당신의 창(window)에 맞게 변경하세요.
팀원이 당신의 행(rows)을 재현할 수 있도록 시드(seed)는 고정하세요.

페이지 점수를 얻는 필드들

킬된 작업까지 포함하여 모든 시도에서 이 필드들을 기록하세요.

• job_id는 해당 시도를 하나의 배치 항목에 연결합니다.
• attempt는 1부터 시작하며 재시도할 때만 증가합니다.
• queue_wait_ms는 해당 시도가 실제로 시작되기 전의 지연 시간입니다.
• tokens_in과 tokens_out은 사용자의 자체 미터에서 가져옵니다.
• outcome은 해당 행에 대해 ok, killed, 또는 rejected 중 하나입니다.
• deadline_slack_ms는 호스트 활용도가 아니라 남은 시간 창(window)을 의미합니다.
• retry_tax는 예산과 비교할 입회 횟수(admission number)입니다.

다음으로 관찰한 것과 추론하는 것을 분리하세요.
관찰된 것은 스크립트가 방금 기록한 원장 행을 의미합니다.
추론된 것은 여기서 측정하지 않은 공급업체의 이야기입니다.

retry tax 정의 방법

Retry tax는 0의 가격표가 숨길 수 있는 낭비입니다.
완료되지 못한 시도에 이미 소비된 토큰을 계산하세요.
이 창(window) 내부의 대기열 대기 시간에 대한 시간 요금을 추가하세요.

이 정의는 드릴(drill) 안에서만 사용하고, 로컬이라고 표시하세요.

retry_tax = spent_tokens_on_failed_attempts
          + queue_wait_seconds * queue_wait_unit_per_second
admit if projected_tax + new_job_tokens <= budget_units

이 공식을 클라우드 청구서로 취급하지 마세요.
이는 선언된 워크로드에 대한 입회 신호일 뿐입니다.
0 토큰 가격이 시간 요금을 0으로 만들지는 않습니다.

그 가중치는 대기가 토큰 청크와 경쟁할 수 있도록 선언된 것입니다.
이는 달러 비율도 아니고 공급업체 가격도 아닙니다.

활용도가 아닌 이유

CPU 유휴 시간은 소진된 토큰 예산 옆에 놓일 수 있습니다.
무료 워커는 창(window)이 사라지는 동안 비어 보일 수 있습니다.
활용도는 retry tax가 답하는 것과 다른 질문에 대한 답변입니다.

로컬 원장

이 스크립트는 사용자의 자체 노트북에서 실행하는 제안서입니다.
원격 모델을 호출하거나 할당량을 소비하지 않습니다.
실패 주입(Failure injection)은 프로세스 내에서 사용자가 통제하는 동전 던지기입니다.

#!/usr/bin/env python3
"""로컬 retry-tax 원장. 실행하기 전의 제안서."""
import json
...

위의 설정 블록을 읽은 후에만 파일을 실행하세요.

python3 retry_tax_ledger.py

예상 출력은 레이블이 지정되어 있으므로 이 초안에서는 실행되지 않았습니다.
요약 한 줄과 JSON 원장 파일이 표시될 것입니다.
파일 경로는 해당 노트북의 /tmp/retry-tax-ledger.json입니다.

# 측정된 프로덕션 결과가 아닌 예상 형태
finished=<int> killed_rows=<int> rejected=<int> abandoned=<int> budget_left=<int>
wrote /tmp/retry-tax-ledger.json

만약 rejected가 0으로 유지된다면, 예산이 너무 느슨하다는 의미입니다.
budget_units를 조정하고 동일한 시드를 다시 실행하십시오.
모든 작업이 거부되면, 시간 청구가 너무 가혹하다는 뜻입니다.

주입(injection)의 목적

이 드릴은 의도적으로 첫 번째 시도의 일부를 실패시킵니다.
실패한 행이라도 해당 시도의 tokens_in을 기록합니다.
다음 시도는 그 지출액을 retry_tax 내에서 지불해야 합니다.

그러한 동작이 버그가 아니라 주입의 핵심입니다.
작업 도중에 죽는 무료 슬롯은 무료 재시도를 의미하지 않습니다.
이미 입력 토큰을 소모했기 때문에 나중 시도에서도 반복됩니다.

실패한 행에서는 retry_tax에 해당 실패 시도의 토큰이 포함됩니다.
승인 확인(admit check)은 그 지출 이전의 세금을 사용했습니다.
재시도하기 전에 실패한 행의 deadline_slack_ms를 확인하십시오.

슬랙이 음수라는 것은 이미 해당 작업에 대한 창이 사라졌다는 의미입니다.
두 번째 시도를 낭비하는 대신 거부(Reject)하십시오.
필드가 명확하게 유지되도록 이 샘플을 수동으로 작성하십시오.

다음 블록은 시드 출력물이 아닌 예시입니다.
아래 숫자를 사용하여 자신만의 계산만 확인하십시오.

job_id: 3
attempt: 1
queue_wait_ms: 2100
...

대기 시간 단위는 200의 선언된 가중치에 2.1초를 곱한 것입니다.
실패한 입력 토큰을 더하면 1620이 됩니다.
만약 수동 합계가 일치하지 않으면, 멈추고 먼저 공식을 수정하십시오.

무료 경로(free path)가 잘못된 베팅일 때

야간 창(nightly window)을 라우팅하기 전에 이 표를 사용하십시오.

무료 경로가 여전히 적합한 경우

공개: 이 기사는 MonkeyCode의 제품 아웃리치(product outreach)의 일환으로 준비되었습니다.

MonkeyCode는 무료 모델 액세스와 무료 서버 옵션을 제공합니다.
이 두 경로는 다이어그램에서 무료 슬롯으로 자리 잡을 수 있습니다.
여전히 예상 세금 절감이 예산을 초과하면 작업을 거부합니다.

토큰 부여, 기간 또는 하드웨어 크기를 하드 코딩하지 마십시오.
그러한 제한은 이번 점검(drill)에서 측정되지 않았으며 변경될 수 있습니다.
실제로 호출하는 경로를 측정하고 동일한 임계값을 적용하십시오.

무료 레이블이 위의 인정 확인을 대체하지 않습니다.
미터가 종료된 시도 토큰(killed-attempt tokens)을 볼 수 없다면, 그쪽으로 라우팅하지 마십시오.
tokens_in 누락은 무료 경로를 실제보다 더 저렴하게 보이게 합니다.

이미 각 시도를 측정하고 있다면, 무료 서버 옵션에 대해 해당 확인을 시도해 보십시오.

호출에서 방어해야 할 임계값

야간 창이 열리기 전에 하나의 임계값을 요청하십시오.
이번 점검은 활용률 목표(utilization target)가 아닌 budget_units를 사용합니다.
큐 대기 시간만으로는 두 번 지불할 예정인 토큰을 놓칩니다.

마감 기한 여유분만으로는 이미 한 번 소비된 예산을 놓칩니다.
작업을 거부하는 것이 종료된 시도를 중복하는 것보다 낫습니다.
예산은 이 창에 대한 그러한 중복의 상한선입니다.

예시 설정에서가 아니라 당신의 창에서 숫자를 선택하십시오.
입력 토큰 곱하기 작업 수부터 시작하여 실패 비율(fail fraction)로 자르십시오.
그 근거를 설정 옆에 작성하여 다음 온콜(on-call) 담당자가 볼 수 있도록 하십시오.

자른 이유를 설명할 수 없다면, 거부할 준비가 되지 않은 것입니다.

페이지 이후의 조치들

배지가 녹색이고 창이 열리지 않을 때 이 순서를 따르십시오.

1. 스케일업하기 전에 outcome=killed인 최신 원장(ledger) 행들을 읽으세요.
2. 하루 전체가 아닌 이 창(window)에 대한 retry_tax를 합산하세요.
3. 그 합계를 시작 시 선언한 budget_units와 비교하세요.
4. 다음 예측이 예산을 초과하면 새로운 무료 경로 작업(free-path jobs)을 거부하세요.
5. 슬랙(slack)이 여전히 양수인 동안에만 진행 중인 작업(in-flight jobs)을 처리하세요.
6. 창을 반드시 마쳐야 한다면, 경로를 예약된 워커(reserved worker)로 전환하세요.

오늘 밤 첫 번째 조치로 무료 슬롯을 재시작하지 마세요.
재시작은 세금 계산에 필요한 killed 행들을 숨깁니다.
JSON 파일을 캡처한 다음, 수용할지 거부할지를 결정하세요.

정리 및 롤백(Cleanup and rollback)

정리는 후속 티켓이 아니라 드릴(drill)의 일부입니다.
중지 명령을 실행하기 전에 프로세스 이름을 확인하세요.
그런 다음 원장 파일을 제거하고 해당 로컬 스크립트만 중지시키세요.

rm -f /tmp/retry-tax-ledger.json
pkill -f retry_tax_ledger.py || true

설정 플래그를 사용하여 경로를 롤백하고, 재배포 추측(redeploy guess)으로 하지 마세요.

admission_mode: reserved_path
free_path_enabled: false

해당 플래그를 적용한 다음, 무료 슬롯에 새로운 작업이 수용되는 것을 중지시키세요.
진행 중인 예약된 작업들이 동일하게 선언된 창 안에서 완료되도록 하세요.
깨끗한 원장 시간(clean ledger hour)이 된 후에만 무료 경로를 다시 활성화하세요.

깨끗한 시간이란 killed 행이 0이고 세금이 예산 내에 있다는 것을 의미합니다.
둘 중 하나의 확인이 실패하면, free_path_enabled을 false로 유지하세요.
다음 근무조가 볼 수 있도록 알림 댓글에 이유를 작성하세요.

소리 내어 말할 한계점(Limits to say out loud)

이 드릴은 고정된 난수 시드(random seed)를 가진 단일 프로세스입니다.
공유 무료 슬롯에서의 멀티테넌트 노이즈는 모델링하지 않습니다.
실제 인보이스나 라이브 할당량 카운터를 읽지 않습니다.

무료 접근 약관은 변경될 수 있으므로, 어떤 약속도 하드코딩하지 마세요.
스크립트는 트레이스(trace)가 아닌 random.Random으로 큐 대기 시간을 꾸며냅니다.
서비스 시간은 이 스크립트에서 1.5초로 고정되어 있습니다.

거부 처리를 신뢰하기 전에 해당 상수를 트레이스로 교체하세요.
고정된 서비스 시간은 실제 호출이 변동하면 거짓말을 할 것입니다.

이 접근 방식을 완전히 건너뛰어야 하는 사람은 누구인가요:

⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.

• 이 입학 경로(admission path)에 상호작용하는 사용자 트래픽을 넣지 마십시오.
• 놓친 작업(missed job)이 안전 사고가 되는 곳에는 사용하지 마십시오.
• 각 시도마다 토큰을 측정할 수 없다면 사용하지 마십시오.
• 예시 예산(example budget)을 실제 운영 한도로 취급하지 마십시오.
• 청구서에 비용 숫자를 정당화하기 위해 이 드릴을 사용하지 마십시오.

각 시도별 토큰 카운트가 부족하면, 멈추고 먼저 계량(metering)을 수정하십시오. tokens_in이 삭제된 행(killed rows)에 없는 원장(ledger)은 세금(tax)을 과소 계산할 것입니다. 그 과소 계산이야말로 여유 용량이 야간 페이지 작업자에게 속임수를 쓰는 방식입니다.

경고와 함께 유지해야 할 것들

스크립트, 설정(config), 그리고 롤백 플래그를 하나의 폴더에 보관하십시오. 페이지 작업을 하는 동안이 아니라 창문(window) 전에 시드(seed)를 한 번 실행하십시오. 다음 사람이 행(rows)을 볼 수 있도록 경고 옆에 JSON을 저장하십시오.

예측치(projection)가 예산을 초과하면, 작업이 큐에 추가되기 전에 거부하십시오. 깨끗한 시간이 지날 때까지 롤백 플래그를 경고에 남겨두십시오. 이것이 측정된 세금부터 정리까지의 전체 루프입니다.