재실행할 수 없는 채팅에 모델 할당량을 소모하지 마세요. 무료 모델 호출은 환경이 아닙니다. 먼저 툴 호스트를 고정한 다음 토큰을 사용하세요.

이번 달 데모가 부족한 것이 아닙니다. 다른 사람이 재구축할 수 있다는 증거가 부족한 것입니다. 하나의 성공적인 프로세스에서 나온 스크립트는 하나의 이야기일 뿐입니다.

주장

여기에 주장을 어떠한 망설임도 없이 밝힙니다. 에이전트 실행은 양쪽 모두 폐기 가능한 경우에만 카운트됩니다. 모델 호출은 자체 기록으로 로그되어야 합니다.

툴 호스트는 당신의 개인 셸 없이 재시작되어야 합니다. 어느 한쪽이라도 '그날의 내 기계'라면, 그 실행은 버리세요. 해당 실행을 풀 리퀘스트(pull request)에서 인용하지 마십시오.

이를 증거로 콘테스트 작성물에 붙여넣지 마십시오. 이것은 더 큰 클러스터를 요구하는 간청이 아닙니다. 이는 명명된 호스트와 고정된 계약을 요구하는 간청입니다.

당신은 작은 서버에서 그 기준을 유지할 수 있습니다. 하지만 따뜻한 노트북 세션으로는 할 수 없습니다. 세션은 죽고, 증거도 함께 죽습니다.

분리가 중요한 이유

개발자들은 두 가지 제품을 하나의 문장으로 계속 합치고 있습니다. 모델 자체가 기능을 구축했다고 말합니다. 모델이 텍스트를 방출했고, 호스트가 행동했을 수 있습니다.

이 두 가지 실패는 같은 실패가 아닙니다. 유창한 모델도 여전히 누락된 바이너리를 호출할 수 있습니다. 건강한 호스트도 여전히 깨진 호출을 받을 수 있습니다.

만약 이를 하나의 덩어리로 평가한다면, 당신은 아무것도 배우지 못합니다. 단지 어느 오후가 당신에게 친절했는지 알게 될 뿐입니다. 친절했던 오후는 깔끔한 재부팅을 견디지 못합니다.

에이전트 콘테스트는 부팅 로그보다 스크린샷에 더 보상합니다. 분위기(Vibe)-코드 사이드 프로젝트는 같은 나쁜 습관에 보상합니다. 누락된 아티팩트는 다시 부팅할 수 있는 호스트입니다.

고정(Pinned)의 의미

고정하다는 크거나, 비용이 많이 들거나, 영구적이라는 의미가 아닙니다. 고정하다는 낯선 사람도 툴 측을 재구축할 수 있다는 의미입니다. 그들은 이를 위해 당신의 셸 히스토리를 필요로 해서는 안 됩니다.

어떤 할당량을 사용하기 전에 이 체크리스트를 이용하세요.

• 호스트에 노트북이 아닌 이름을 부여하세요.
• 툴 목록은 버전 관리되는 파일로 유지하세요.
• 각 툴에는 타임아웃과 실제 오류 경로를 지정하세요.
• 비밀 정보(secrets)는 트랜스크립트가 아닌 호스트 환경에 보관하세요.
• 어떤 판결(verdict)을 작성하기 전에 매니페스트(manifest)를 작성하세요.
• 호스트를 재부팅하고 계약이 여전히 유효한지 확인하세요.

하나라도 빠뜨리면 실행은 단순한 리허설에 불과합니다. 리허설은 루프를 설계하는 동안에는 유용하지만, 나중에 인용할 수 있는 증거는 아닙니다.

모델보다 호스트 점수를 매기세요

모델의 품질에 대해 논하기 전에 호스트부터 점수를 매겨야 합니다. 호스트 열이 실패하면 토큰 지출을 중단하세요. 모델의 취향은 누락된 부트 경로를 복구할 수 없습니다.

따라야 할 순서

이 순서를 따르고 마지막 단계를 앞당겨 바꾸지 마세요. 재시작 전에 소모된 할당량(quota)은 손실된 데모입니다. 모델은 그러한 혼란을 환불할 수 없습니다.

1. 툴 스키마를 레포에 넣고 코드처럼 검토하세요.
2. 이름이 지정되고 재시작할 수 있는 머신에서 툴 호스트를 부팅하세요.
3. 하네스(harness)를 실행하고 디스크에 매니페스트를 요구하세요.
4. 호스트를 재시작하고 두 번째 매니페스트를 요구하세요.
5. 모델 접근을 연결하고 기록된 호출 하나를 추가하세요.
6. 테이블을 점수화한 다음, 답변이 중요한지 결정하세요.

이 규칙이 포착하는 세 가지 실패 사례

워밍업 프로세스 (Warm process)

워밍업 프로세스 실패는 깨끗한 성공처럼 보입니다. 툴들이 여전히 임포트되어 있기 때문에 두 번째 호출은 저렴합니다. 재시작했다면 누락된 패키지가 드러났을 것입니다.

프롬프트 내 비밀 정보 (Secret in the prompt)

프롬프트에 비밀 정보를 넣는 것은 편리해 보입니다. 모델은 본 적이 없어야 할 토큰을 반복합니다. 호스트는 그 비밀 정보를 자체 환경(env)에서 읽었어야 합니다.

채팅에만 스키마 존재 (Schema only in chat)

스키마를 채팅에 유지하는 것이 빠릿해 보입니다. 도구 인자를 변경하고 이전 기록을 잊어버립니다. git의 파일이라면 그 단절이 명확했을 것입니다.

복사할 수 있는 하네스

아래 샘플들은 제안된 워크플로우일 뿐입니다. 이 글은 실행된 벤치마크를 보고하지 않습니다. 직접 복사하여 사용자가 통제하는 호스트에서 실행하세요.

조기 거부 (Refuse early)

이 하네스는 세 가지 역할만 수행하며 그 이상은 없습니다. 호스트 기본 URL 없이는 시작을 거부합니다. 모델 호출 전에 매니페스트를 작성합니다.

도구 출력을 분위기가 아닌 데이터로 취급합니다. 또한, 노트북 루프백 주소를 인용된 호스트로 거부합니다. 루프백 프로브가 존재할 수는 있지만, 증거가 될 수는 없습니다.

#!/usr/bin/env python3
"""제안된 하네스. 이 글을 위해 실행되지 않음."""

...

계약 파일 (Contract file)

하네스를 git의 도구 계약과 짝지으세요. 그 계약을 시스템 프롬프트 안에 숨기지 마십시오. 시스템 프롬프트는 버전 관리되는 인터페이스가 아닙니다.

{
  "tools": [
    {
...

불완전한 판결만이 재시작 전의 유일하게 정직한 상태입니다. 모델 호출은 두 번째 부팅 이후에만 채우세요. 호출을 발명하는 것보다 목록을 비워두는 것이 낫습니다.

고정 확인 (Fixed check)

호스트 프로세스는 의도적으로 지루할 수 있습니다. 재실행이 필요할 때 지루함은 기능입니다. 프로세스가 재시작될 수 있다면 무료 서버로 충분합니다.

분리(split)를 증명하기 위해 영리한 런타임이 필요하지 않습니다. 샘플은 셸 문자열이 아닌 하나의 고정 확인을 실행합니다. 영리한 런타임은 테스트하려는 재부팅을 숨깁니다.

#!/usr/bin/env python3
"""제안된 도구 호스트. 이 글을 위해 실행되지 않음."""

...

이 샘플을 공개 인터넷에 노출하지 마십시오. 이것은 프로덕션 게이트웨이가 아니라 실험실 리스너입니다. 끌 수 있는 호스트에 바인딩하세요.

로컬 바인드는 사적인 스모크 테스트용일 뿐입니다. 인용된 실행(cited run)에는 여전히 명명된 호스트 URL이 필요합니다. 노트북 루프백을 터널링하여 씻어내고 고정되었다고 부르지 마십시오.

실패해야 하는 명령어들 (Commands that should fail closed)

녹색 파일에 축하하기 전에 음수 케이스를 실행하세요. 행복한 경로에서만 통과하는 하네스는 연극입니다. 핀이 누락되었을 때 종료 코드 2가 예상되어야 합니다.

python3 pin_host.py

expect exit 2: missing TOOL_HOST

...

그런 다음 호스트 프로세스를 재시작하고 다시 프로브(probe)합니다. 새 매니페스트는 새로운 시작 타임스탬프가 필요합니다. 스키마는 같지만, 프로세스는 새로 시작하거나, 고정(pin)에 실패한 것입니다.

해당 파일이 존재해야만 모델 접근을 연결할 수 있습니다. ID와 지연 시간(latency)을 포함하는 모델 레코드를 하나 추가하세요. 해당 필드를 채울 수 없다면 답변 점수를 매기지 마세요.

무료 옵션이 적합한 경우

하드웨어를 먼저 구매하지 않고도 이 분할(split) 작업을 수행할 수 있습니다. 고지: 본 기사는 MonkeyCode의 제품 홍보의 일환으로 작성되었습니다. MonkeyCode는 여기서 스플릿을 시도해 볼 장소로만 관련이 있습니다.

운영자(operator)가 무료 모델 접근과 무료 서버 옵션을 보고합니다. 이 기사에서는 모델, 할당량(quota), 또는 하드웨어를 명시하지 않습니다. 그러한 세부 정보는 변동하며, 오래된 수치는 당신의 시간을 낭비하게 만듭니다.

어떤 제안에 의존하기 전에 현재 프로젝트 페이지를 읽으세요. 호스트 프로세스를 가져오거나, 프로브를 조정하세요. 여기에는 'health'라는 이름의 공급업체 경로(vendor route)를 가정하는 것이 없습니다.

적합하다면 무료 서버를 명명된 툴 호스트로 사용하세요. 매니페스트가 존재하는 후에만 무료 모델 접근을 사용하세요. 라이브 약관이 예상보다 더 엄격하다면, 루프를 줄이세요.

페이지에 나열되지 않은 용량을 꾸며내지 마세요. 무료 등급(free tier)을 영구 계약으로 취급하지 마세요. 실제 제한 사항을 확인한 다음, 실행을 버리고 다시 실행하세요.

이 접근 방식을 건너뛰어야 하는 경우

저장소에 규제된 데이터가 포함되어 있다면 이 접근 방식을 건너뛰세요. 고객 비밀 정보가 툴 호스트로 들어갈 것이라면 건너뛰세요. 무료 공유 옵션은 금고(vault)가 아니라 실험실입니다.

계약, 지역, 또는 보존 약속이 필요하다면 건너뛰세요. 무료 가용성은 SLA(Service Level Agreement)가 아니며, 이 기사는 그러한 것을 주장하지 않습니다. 정책 팀에 종이가 필요하다면 다른 곳에서 구하세요.

리더보드나 품질 점수가 필요하다면 건너뛰세요. 이 워크플로우는 답변의 우수성이 아니라 폐기 가능성(disposability)을 확인합니다. 고정된 호스트도 여전히 잘못된 패치(patch)를 방출할 수 있습니다.

단일 채팅 답글만 필요했다면 건너뛰세요. 하나의 프롬프트에 대해 호스트를 구축하는 것은 낭비되는 움직임입니다. 채팅 상자를 사용하고, 그것이 평가(eval)였다고 가장하지 마세요.

소리 내어 말해야 할 제한 사항들

코드 샘플은 이 글에서 실행되지 않았습니다. 헬스 체크가 도구가 유용한 작업을 수행했음을 증명하지는 못합니다. 여전히 모델 외부에 신뢰할 수 있는 태스크 오라클(task oracle)이 필요합니다.

무료 서버는 속도를 제한하거나, 잠들거나, 당신 아래에서 변경될 수 있습니다. 이것을 예상치 못한 배신으로 여기지 말고 알려진 한계로 다루세요. 고정할 수 있는 것은 고정하고, 그 고정이 깨지는 시점을 기록하세요.

localhost 거부는 방화벽이 아니라 하네스 정책(harness policy)입니다. 누구나 이 검사를 삭제하고 자신에게 거짓말을 할 수 있습니다. 가치는 그것을 강제하는 10줄의 코드가 아니라 습관 그 자체에 있습니다.

여기에는 벤치마크 숫자가 나타나지 않는 이유는 측정된 것이 없기 때문입니다. 본 기사를 속도, 비용 또는 품질 증거로 인용하지 마십시오. 당신 자신의 명세서(manifest)를 인용하거나, 아무것도 인용하지 마십시오.

선을 지키세요 (Hold the line)

스크린샷이 아이디어를 기억하는 데 도움이 된다면 유지하세요. 그 스크린샷들을 검토 결과물로 부르지 마십시오. 호스트가 재시작된 후에 무료 토큰을 사용하십시오.

만약 호스트를 재시작할 수 없다면, 모델 자체가 핵심이 아니었습니다. 이름을 붙일 수 없는 호스트는 무료 호출로는 복구되지 않습니다. 호스트를 고정하거나, 할당량을 쓰지 마십시오.