무료, 유료, 로컬 에이전트 작업에 대한 검토: 시간의 가치

저는 나중에 청구되는 인보이스를 보고 무료, 유료 또는 자체 호스팅(self-hosted) 에이전트 좌석을 선택하지 않습니다. 저는 그 좌석이 생성할 차이점(diffs)들을 제가 얼마나 더 검토할 수 있는지에 따라 그것을 선택합니다. 패치를 읽을 수 없다면, 저렴한 좌석은 좋은 거래가 아니며, 비싼 좌석도 안전하지 않습니다. 제가 계속 던지는 질문은 간단합니다. 이 변경 사항이 적용되기 전에 실제로 누가 주시하고 있는가?

좌석이란 에이전트가 파일을 편집하고, 명령을 실행하며, 저에게 응답하는 장소일 뿐입니다. 무료 옵션, 유료 박스, 그리고 제 책상 아래의 기계 모두 제 주의력이 떨어지면 각기 다른 방식으로 실패합니다. 저는 이번 달 어떤 공급업체가 현대적인지에 대한 슬로건이 아니라, 노트북에서 다시 실행할 수 있는 워크시트를 원합니다. 지친 오후 후에 결과 커밋에 서명할 것인가, 아니면 이미 큐가 넘어갔기 때문에 찍어내는(rubber-stamp) 것일까요?

이 결정이 무엇이며, 무엇이 아닌지

저는 제한된 에이전트 작업이 어디서 실행될 수 있는지, 그리고 그와 함께 어떤 증거가 돌아와야 하는지를 결정하고 있습니다. 저는 어떤 모델이 가장 똑똑한지를 결정하는 것이 아닙니다. 왜냐하면 이 저장소에서 그것을 측정하지 않았기 때문입니다. 또한 가용성(availability), 할당량(quotas), 하드웨어는 저에게 묻지 않고 변하기 때문에 영구적인 아키텍처를 결정하는 것도 아닙니다. 에이전트가 건드릴 수 있는 파일들을 지정할 수 있고, 절대 열어서는 안 되는 파일들을 지정할 수 있습니까?

세 가지 좌석은 시트(sheet)에서 달리 지시하지 않는 한 테이블 위에 남아 있으며, 저는 그중 하나를 일찍 포기하지 않습니다. 무료 호스팅 좌석이란 현재 제공되는 경우에 한해 무료 모델 액세스에 무료 서버 옵션이 추가된 것이고, 그 이상은 아닙니다. 유료 호스팅 좌석이란 제가 계약서에 명시할 수 있는 우선순위, 유지(retention), 또는 지원 경로를 구매한다는 의미입니다. 자체 호스팅 좌석이란 이미 러너(runner), 로그, 그리고 그것이 고장 나는 밤까지 실패까지 소유하고 있다는 것을 의미합니다.

공개 고지: 이 글은 MonkeyCode의 제품 홍보의 일환으로 작성되었습니다. 제가 여기서 MonkeyCode를 언급하는 이유는 그 무료 모델 접근과 무료 서버 옵션이 '무료 호스팅' 열을 채울 수 있는 구체적인 방법이기 때문입니다. 저는 이러한 언급을 품질, 가동 시간, 토큰 허용량 또는 모델 정체성의 측정 기준으로 취급하지 않습니다. 만약 할당량, 모델 이름 또는 하드웨어 사양이 중요하시다면, 스프린트를 계획하기 전에 최신 문서를 읽어보시기 바랍니다.

건너뛸 수 없는 적합성 기준

저는 각 좌석을 아래 질문들에 따라 점수화하고, 작업 옆에 답변을 평문으로 작성합니다. 워크스페이스에는 어떤 데이터 클래스가 위치하는가: 공개된 고정값(public fixture), 비밀 정보가 없는 내부 코드, 아니면 규제 대상의 자료인가? 주간이 끝나고 컨텍스트가 희미해지기 전에 이 작업에 솔직하게 몇 분의 검토 시간을 할애할 수 있는가? diff, 테스트 로그, 프롬프트를 내보낼 수 있으며, 좌석이 사라질 경우 누가 작업을 재실행하는가?

무료 호스팅 좌석은 공개 고정값이나 합성 버그(synthetic bug)에 적합하며, 세션을 잃는 것이 단지 재실행 비용만 발생할 때 그렇습니다. 비밀 정보, 고객 데이터 또는 릴리스 브랜치가 작업과 같은 트리에 위치하는 경우에는 적합하지 않습니다. 유료 호스팅 좌석은 명명된 보존 기간(named retention window)이나 지원 담당자가 필요하고 검토 시간이 이미 자금 지원되었을 때 적합합니다. 자체 호스팅 좌석은 데이터가 외부로 나갈 수 없고, 제가 실제로 러너(runner)를 패치할 수 있을 때 적합합니다.

만약 문서가 아무런 통보 없이 내일 아침에 허용량을 변경한다면 여전히 무료 좌석을 선택할까요? 오직 작업이 일회용이고 증거가 이미 제 디스크에 존재하여 사라진 탭이 그것을 가져갈 수 없을 때뿐입니다. 아무도 기다리지 않는 공개 샘플의 단일 파일 오타 때문에 자체 호스팅을 선택할까요? 아마 아닐 것입니다. 왜냐하면 diff 자체를 읽는 대신 러너를 돌보는 데 오후 시간을 보낼 것이기 때문입니다.

다시 읽어볼 수 있는 로컬 게이트

아래 스크립트는 제가 실제 공급업체와 비교하여 실행한 벤치마크가 아니라 제안서입니다. 이 스크립트는 작업에 대한 작은 JSON 설명을 읽고 오늘 자격이 남아 있는 좌석을 출력합니다. 임계값을 변경할 수는 있지만, 그 숫자들이 측정된 실험실에서 나온 것처럼 가장해서는 안 됩니다. 저는 의도적으로 입력 값을 지루하게 유지하여 팀원이 분위기(vibe)가 아닌 실제 현장과 논쟁할 수 있도록 합니다.

#!/usr/bin/env python3
"""제안서일 뿐: 데이터 클래스 및 검토 예산에 따른 게이트 에이전트 좌석 번호.

...

아래 명령어는 해당 로컬 스크립트를 실행할 뿐이며, 원격 에이전트를 호출하거나 고정 데이터를 업로드하지 않습니다. JSON을 자신의 메모로 교체하고, 노트북에서조차 비밀 정보가 파일에 포함되지 않도록 하세요. 작업을 설명하기 위해 자격 증명(credential)을 붙여넣어야 한다면, 멈추고 먼저 작업 공간을 축소해야 합니다. 실행하는 데 비밀 정보가 필요한 워크시트는 이미 무료 호스팅 열이 폐쇄되었음을 알려주고 있는 것입니다.

python3 seat_gate.py <<'JSON'
{
  "data_class": "public_fixture",
...

저는 이번 주에 본 마케팅 페이지처럼 보이는 것이 아니라, 실제 작업과 유사한 고정 데이터를 입력합니다. 짧은 추측(guess)과 30분의 검토를 가진 공개 파서 버그가 규제된 작업 공간을 같은 결정으로 끌고 가서는 안 됩니다. 출력 결과가 '보류(hold)'라고 하면, 저는 멈추고 약관을 읽습니다. 왜냐하면 스크립트는 정책이 결코 부여하지 않은 권한을 부여할 수 없기 때문입니다. 제가 이 JSON을 검토자가 볼 수 있는 티켓에 붙여넣는 것이 편안할까요?

한 개의 열(column)을 신뢰하기 전에 제가 따르는 단계

1. 저는 작업을 비밀 정보, 고객 데이터 덤프, 프로덕션 환경 파일이 포함되지 않은 임시 저장소(scratch repository)에 복사합니다. 만약 그 복사가 불가능하다면, 무료 호스팅 열은 이미 마감된 것이고, 저는 저 자신과 협상하지 않습니다. 누락된 테스트 케이스(fixture)는 도구의 불편함으로 나중에 무마할 수 있는 데이터 결정이 아닙니다.

2. 저는 예상되는 변경 사항 크기를 라인 단위로 작성한 다음, 변경된 5라인당 약 1분씩 검토 시간을 할당합니다. 테스트 로그를 읽는 데 15분을 추가하고, 패치가 동시성(concurrency)이나 인증(authentication)과 관련될 때는 그 추정치를 높입니다. 이 비율은 과학적으로 측정된 법칙이 아니라 저의 개인적인 계획 습관일 뿐입니다.

3. 저는 워크시트를 실행하고 풀 리퀘스트 설명에 모든 보류되거나 차단된 라인을 기록합니다. 녹색 적격 표시(green eligible mark)는 자리를 차지해 볼 수 있는 허가이지, 그 결과를 병합할 권한은 아닙니다. 만약 검토자가 저에게 프롬프트를 기억만으로 설명하라고 요청한다면, 저는 여전히 그것을 병합할까요?

4. 세션을 닫기 전에 제 자체 디스크에 증거를 기록합니다: 변경 사항(diff), 명령어, 그리고 짧은 프롬프트입니다. 무료 서버 옵션은 그 캡처가 브라우저 탭이 죽은 후에도 작동하는 경우에만 유용합니다. 저는 로컬 아카이브를 사용해서 자리가 추론의 유일한 사본이 되는 것을 막습니다.

mkdir -p handoff && git diff > handoff/agent.diff
# echo 대신 실제 프롬프트를 넣으세요. 비밀 정보는 붙여넣지 마세요.
{ echo "prompt: reproduce the public fixture only"; git status --short; } > handoff/notes.txt
...

1. 나는 세 가지 열을 비교하는 것은 아카이브가 이미 내 노트북 디스크에 존재한 후에만 한다. 무료 호스팅(Free hosted)은 픽스처(fixture)가 공개되고 아카이브가 완성될 때 계속 실행된다. 유료 호스팅(Paid hosted)은 내가 지원 경로 또는 서면으로 지적할 수 있는 보존 약속이 필요할 때 유지된다. 자체 호스팅(Self-hosted)은 데이터 클래스가 외부 반출을 금지하고, 리뷰 시간을 낭비하지 않고도 이 박스를 운영할 수 있을 때 유지된다.

2. 속도에 대해 이야기하기 전에, 내가 선택한 좌석에서 동일한 픽스처를 한 번 다시 실행하고, 저장된 diff로부터 로컬에서도 한 번 다시 실행한다. 만약 로컬 재실행이 실패하면, 그 좌석은 나에게 시간을 절약해주지 못했다는 뜻이다. 왜냐하면 나는 여전히 변경 사항을 설명할 수 없기 때문이다. 지난주 에이전트 패치 중 내가 실제로 보관한 메모만으로 얼마나 많이 다시 구축할 수 있었을까?

기록하고 싶은 트레이드오프(Tradeoffs)

나는 주장의 논리가 공급업체 페이지의 가격 스크린샷으로 무너지지 않도록 짧은 표를 유지한다. 이 셀들은 점수라기보다는, 조용한 어느 주 동안 동일한 하드웨어에서 측정된 메모 사항들이다. 나는 다음 주에 재확인할 수 없는 토큰 개수, GPU 이름, 또는 가동 시간 비율로 이 셀들을 채우지 않을 것이다. 현재의 주요 문서에서 지적할 수 없는 숫자는 이 시트의 의사결정 입력값이 아니다.

누가 떠나야 하는가

이 시트는 어떤 모델이 더 나은 패치를 작성하는지 알려주지 않으며, 테스트 환경(fixture)이 공개적이었기 때문에 미묘한 버그를 잡아내지도 못할 것입니다. 이 시트는 비밀 정보가 없는 복사본을 만들 수 있다고 가정하지만, 설정 값을 트리 구조에 혼합하는 많은 실제 서비스에서는 거짓입니다. 또한, 인간이 여전히 병합한다는 것도 가정하는데, 파이프라인이 검토자(reviewer)의 개입 없이 에이전트 출력을 적용한다면 이는 거짓입니다. 이 접근 방식을 프로덕션 자격 증명, 규제 기록 또는 에이전트가 단독으로 푸시할 수 있는 어떤 경로에도 사용하지 마십시오.

단지 그 열이 저렴해 보인다고 해서 무료 호스팅 좌석을 전체 모노레포의 조용한 기본값으로 사용해서는 안 됩니다. 팀원 중 아무도 잘못된 이미지 이후에 러너(runner)를 복구할 수 없다고 해서 자체 호스팅을 도덕적 업그레이드로 사용해서도 안 됩니다. 영수증은 나중에 설명할 수 있는 diff가 아니기 때문에, 아카이브 단계를 건너뛰기 위해 유료 좌석을 사용해서도 안 됩니다. 저는 세션이 종료된 후 3일 뒤에 누락된 프롬프트를 설명하는 것보다 무료 탐색(exploration)을 버리는 편이 낫습니다.

만약 워크시트가 공개 테스트 환경을 무료 호스팅 좌석의 적격 대상으로 표시한다면, 그때 제가 현재 MonkeyCode 문서를 열어봅니다. 저는 무료 모델 접근과 무료 서버 옵션이 제가 작성한 작업과 여전히 일치하는지 확인합니다. 나중에 그 작업을 옮기더라도 동일한 테스트 환경, 동일한 아카이브 명령어, 그리고 동일한 거부 규칙을 유지합니다. 좌석은 다음 주에 바뀔 수 있지만, 제가 병합할 의향이 있는 증거는 청구서와 함께 바뀌어서는 안 됩니다.