에이전트를 무료 서버에 배포하기 전 20분 부하 인터뷰를 수행해야 하는 이유

무료 컴퓨팅 자원은 받아들이기는 쉽지만 운영하기는 어렵습니다. 실패 모드는 출력이 멈추는(outage) 경우가 드물며, 측정되지 않은 느린 드리프트(slow drift)가 발생하고, 결국 양측이 추측하는 상태에서 회의를 벌이는 경우입니다. 이 플레이북은 그러한 논쟁을 누구나 위키에 붙여 넣을 수 있는 20분짜리 측정 과정으로 바꾸어 주며, 역할과 임계값(thresholds), 그리고 '느낌'만으로 서명하는 것을 거부하는 스크립트를 제공합니다.

간단한 스모크 테스트 대신 부하 인터뷰를 해야 하는 이유

스모크 테스트는 "응답했는지?"에 답합니다. 반면, 부하 인터뷰(load interview)는 "어떤 형태로 응답했으며, 그 형태가 우리 업무 중 어떤 것을 지원하는지?"에 답합니다. 여러분은 콜드 레이턴시(cold latency), 웜 레이턴시(warm latency), 동시성 증가에 따라 레이턴시가 어떻게 변하는지, 그리고 각 단계별 에러율을 알고 싶어 합니다. 왜냐하면 한 요청에서는 괜찮지만 여덟 개 요청에서는 사용할 수 없는 무료 티어가 있을 수 있기 때문입니다.

본 글에서 다루는 프로젝트는 MonkeyCode라는 오픈 소스 코딩 에이전트 프로젝트로, 이 운영자는 무료 모델 계층과 무료 서버 옵션을 나열합니다. 두 가용성 주장 모두 운영자가 제공한 것이며, 저는 할당량(quotas), 하드웨어 또는 기간을 독립적으로 감사하지 않았으므로, 필요한 모든 숫자는 여러분 자신의 테스트 환경(harness)이 생성해야 하는 것으로 간주해 주십시오.

공개 고지: 이 기사는 MonkeyCode의 제품 아웃리치(product outreach)의 일환으로 작성되었습니다.

이 인터뷰가 제품 자체가 좋은지를 알려주지는 않습니다. 대신, 이번 주에 여러분의 업무 중 어떤 것이 실행되도록 허용되는지를 알려주며, 이는 팀이 실제로 방어할 수 있는 결정입니다.

역할: 세 자리와 공유 메모리 없음

1. **드라이버(Driver)**는 테스트 환경을 실행하고 터미널을 소유합니다. 드라이버는 실행 진행 중에는 결과를 해석하지 않습니다.
2. **리더(Reader)**는 임계값을 가지고 통과 또는 실패를 서명합니다. 리더는 테스트 환경을 작성한 사람이 아니어야 합니다. 왜냐하면 저자는 관대하게 평가하기 때문입니다.
3. **기록자(Recorder)**는 위키 페이지를 작성하고, 원본 JSON을 첨부하며, 다음 달 실행이 비교 가능하도록 테스트 환경의 커밋 해시를 기록합니다.

세 자리는 의도적인 배치입니다. 한 사람이 실행, 읽기, 기록을 모두 수행할 경우 세 번째 단계를 조용히 건너뛰게 되며, 이 세 번째 단계가 직원 교체(staff turnover) 속에서도 살아남는 핵심 요소이기 때문입니다.

아티팩트: stdlib 전용 부하 인터뷰

아래 스크립트는 Python 표준 라이브러리만을 사용하므로 CI 러너가 존재하는 모든 곳에서 실행할 수 있습니다. 이를 load_interview.py로 저장하고 자체 배포 지점에 연결하세요.

#!/usr/bin/env python3
"""load_interview.py - 하나의 HTTP 엔드포인트에 대한 콜드/웜 레이턴시 및 오류율.
Stdlib 전용. URL과 페이로드는 사용자 환경으로 교체하십시오. 여기에 제품 고유의 내용은 없습니다."""
...

실행은 다음과 같으며, 사용자가 숫자를 제공합니다:

python3 load_interview.py \
  --url http://YOUR-HOST/v1/chat \
  --levels 1,4,8 --warm 10 --idle 120 \
...

게이트: 독자가 실제로 서명하는 임계값 파일

임계값은 파일에 보관하여 독자(Reader)가 메모리가 아닌 diff에 서명하도록 합니다. 이 게이트는 어떤 위반 사항이 발생해도 0이 아닌 값을 반환하므로, CI와 위키 실행 모두에서 사용 가능합니다.

{
  "warm_c1":  {"p95_s": 20, "error_rate": 0.0},
  "warm_c4":  {"p95_s": 35, "error_rate": 0.05},
...

#!/usr/bin/env python3
"""gate.py - 인터뷰가 서명된 임계값을 위반하면 1을 반환합니다."""
import json, sys
...

python3 gate.py interview-2026-10-18.json gate.json && echo SIGNED

단계: 순서대로 진행하는 20분 실행

1. 에이전트 전체가 아닌 특정 작업 하나를 선택하세요. '한 문장 차이 요약' 또는 '실패하는 테스트 이름 분류'와 같이 가장 작은 반복 작업을 고르세요. 모호한 워크로드(workload)에 대한 인터뷰는 모호한 임계값(threshold)을 만듭니다.
2. 페이로드(payload)를 고정하세요. 정확한 요청 본문(request body)을 위키 페이지에 붙여넣어 두 달 간격으로 실행된 테스트가 비교 가능하도록 하세요.
3. 유휴 상태로 있다가 콜드 프로빙(cold probing)을 수행하세요. 첫 호출 전에 2분간의 침묵은 대부분의 공유 호스트에서 콜드 스타트(cold-start) 동작을 노출하기에 충분합니다.
4. 동시성 사다리(concurrency ladder)를 실행하세요. 1, 4, 8이 합리적인 시작점입니다. 실제 대기열(queue)이 그렇지 않다면 더 높게 설정하지 마세요.
5. 게이트(Gate)를 통과한 후 결정하세요. '통과'는 해당 주에 작업이 실행될 수 있음을 의미합니다. '위반(breach)'은 누군가 의도적으로 임계값을 변경할 때까지 작업이 유료 경로로 돌아감을 의미합니다.
6. 느낌이 아닌 결정을 기록하세요. 레코더(Recorder)는 게이트 출력과 JSON 파일 이름을 아래 위키 테이블에 붙여넣습니다.

복사하여 사용할 수 있는 한 페이지짜리 위키

# Free-Server 부하 인터뷰 - <작업 이름>
Date: <YYYY-MM-DD>  Harness 커밋: <sha>  인터뷰 JSON: <파일명>
Driver: <이름>  Reader: <이름>  Recorder: <이름>
...

그 예산(budget) 라인은 중요합니다. 무료 할당량은 변동하는 목표이기 때문입니다. 만약 운영자가 1천만 토큰과 같은 토큰 할당량을 명시한다면, 그 숫자를 적고 읽은 날짜와 출처 URL을 해당 줄에 기록한 다음, 검토 날짜에 다시 확인하세요. 기억에 의존하는 숫자를 계획상의 가정으로 절대 만들지 마세요.

결정 테이블: 숫자가 얻는 것

이 하네스는 한 네트워크 위치에서 하루 동안 하나의 엔드포인트를 측정합니다. 귀하의 수치는 동료의 노트북으로 전송되지 않으며, 제 수치 역시 제품 벤치마크로 인용되어서는 안 됩니다. 왜냐하면 그것들은 하나가 아니기 때문입니다. 공유되는 무료 용량은 예고 없이 변경될 수 있으며, 이것이 바로 검토 날짜(review date)가 존재하는 정확한 이유입니다.

통제하거나 로드할 권한이 없는 엔드포인트에 대해서는 이 테스트를 실행하지 마십시오. 동시성 사다리(concurrency ladder) 역시 부하 테스트입니다. 만약 엄격한 외부 지연 SLO(Service Level Objective)가 있거나, 데이터가 자체 인프라를 벗어날 수 없거나, 아무도 Reader 좌석을 한 스프린트 이상 소유하지 않을 것이라면 이 접근 방식을 완전히 건너뛰십시오.

루프 닫기 (Close the loop)

무료 서버는 팀이 그 위에서 어떤 작업(job)이 허용되는지 그리고 그 문장을 뒷받침하는 증거가 무엇인지 한 줄로 말할 수 있는 순간에 비로소 신뢰할 수 있게 됩니다. 인터뷰를 실행하고, 이를 게이트(gate)화하며, 페이지를 붙여넣고, 다음 사람이 소문 대신 측정값을 물려받도록 하십시오. 만약 해당 테스트의 에이전트 측면을 위한 시작점이 필요하다면, MonkeyCode의 무료 모델 티어와 무료 서버 옵션은 팀에게 어떤 약속을 하기 전에 정확히 이 하네스를 사용하여 평가할 가치가 있습니다.