무료 호스팅 환경에서 코드를 확인하기 전에 피해야 할 5가지 안티 패턴

나는 고개를 끄덕이는 채팅 모델을 신뢰하지 않는다.
나는 실패 시 안전하게 종료되는(fail closed) 계약 파일을 신뢰한다.
만약 당신의 무료 세션이 단순히 동의하는 것만으로 구성되어 있다면, 그것은 설계가 부족하다는 의미이다.

이것은 바쁜 배포 팀에게는 가혹하게 들릴 수 있다.
하지만 이것은 속도 속에 숨어 있는 저렴한 버그일 뿐이다.
녹색 채팅 로그가 릴리스 게이트(release gate)를 보장하지 않는다.

결론부터 말하자면

무료 초안은 싸고, 값싼 동의는 위험하다.
임시 호스팅 환경은 페이지를 보여줄 수는 있지만, 당신의 데이터를 소유할 수는 없다.
당신의 계약 파일만이 제자리에 머물러 있는 유일한 게이트이다.

여전히 스키마(schema), 까다로운 경우(nasty cases), 그리고 호스트 역할이 필요하다.
여전히 0이 아닌 값으로 종료하는 검사기(checker)가 필요하다.
여전히 diff를 읽을 수 있는 인간이 필요하다.

도구를 명시하고, 다시 작업에 집중하라

공개 고지: 이 글은 MonkeyCode의 제품 홍보 일환으로 작성되었습니다.
이 홍보 자료는 MonkeyCode를 오픈 소스 프로젝트로 제시합니다.
무료 모델 접근과 무료 서버 옵션을 언급합니다.

나는 쿼터(quota), 모델 이름, 하드웨어 또는 기간을 지어내지 않을 것입니다.
그 숫자들은 이 초안을 위해 검증되지 않았습니다.
내가 출처를 찾기를 거부한 문장에 대해 스프린트 전체를 걸겠습니까?

왜 이것이 다시 등장했는가

개발자들은 너무 빨리 동의하는 모델에 대해 논쟁하고 있다.
어떤 게시물은 모델을 부드럽고 아첨하는 답변을 하는 원인으로 탓한다.
나는 동의를 검토로 취급하는 워크플로우를 탓한다.

나는 이번 주 연구실 스터디(lab study)를 인용하고 있지 않다.
나는 그 공개적인 논쟁을 데이터셋이 아닌 경고로 사용하고 있다.
당신의 레포지토리도 리더보드 없이 똑같은 방식으로 실패할 수 있다.

여기서 계약이란 무엇을 의미하는가

계약은 git에 있는 작은 파일들의 집합이다.
필요한 키, 거부 사례(reject cases), 그리고 금지된 검사 목록을 나열한다.
또한 호스트가 임시인지 지속적인지도 명시한다.

나는 개인적인 벤치마크가 아닌 제안을 설명하고 있다.
이 샘플들을 실제 호스트에 대해 실행하지 않았다.
임시 레포지토리에서 시도할 때까지 '미실행(unrun)'으로 표시하라.

안티 패턴 1: 고개만 끄덕이는 검토

모델에게 반례(counterexample)가 아닌 신뢰도(confidence)를 요청했습니다.
긍정적으로 기울어진 모델은 그 미끼를 기꺼이 물 것입니다.
그러면 마감 기한을 지키는 것이 공손한 어조(polite tone)로 착각하게 만듭니다.

대체 방안 (Replacement)

코드가 실패해야 하는 세 가지 입력값을 요구하세요.
어떤 칭찬이든 받아들이기 전에 그 입력값들을 저장해 두세요.
단지 '좋다'고만 말하는 사람의 메모를 병합하시겠습니까?

안티 패턴 2: 스키마 루렛 (Schema roulette)

증상 (Symptom)

비슷한 모델 실행(model runs)에서도 필드 이름이 이리저리 표류합니다.
어떤 실행은 userId라고 하고, 다음 실행은 그냥 id라고 합니다.
클라이언트는 그러면 어젯밤에 도착한 어떤 형태든 파싱하게 됩니다.

근본 원인 (Root cause)

프롬프트가 고정된 스키마(schema)가 아닌 분위기(vibe)를 설명했습니다.
새로운 재시도(retries)는 진전처럼 느껴져서 표류가 숨겨집니다.
혹시 누가 git에서 응답 형태를 고정했나요, 만약 누군가가 그랬다면요?

대체 방안 (Replacement)

필수 키(required keys)를 지정하고 알 수 없는 필드는 거부하세요.
필수 키가 누락되면 로컬 검사(local check)에 실패하도록 하세요.
채팅에서 클라이언트를 재작성하여 표류를 수정하지 마세요.

안티 패턴 3: 비밀 유출 (Secret bleed)

증상 (Symptom)

토큰, 쿠키 또는 고객 행(customer row)이 프롬프트 안에 놓여 있습니다.
같은 텍스트가 나중에 호스트 로그에 남을 수 있습니다.
역사 기록에서 비밀 정보를 다시 꺼낼 수 있습니까?

근본 원인 (Root cause)

작업 공간(scratch path)은 무료였기 때문에 사적인 느낌이 들었습니다.
무료 접근이라도 프롬프트나 로그를 보존할 수 있습니다.
무료 서버는 편의시설이지, 금고가 아닙니다.

대체 방안 (Replacement)

프롬프트를 작성하기 전에 모든 비밀 정보를 마스킹(Redact)하세요.
실제 자격 증명(credentials)은 로컬 환경 파일에 보관하세요.
비밀 정보와 유사한 패턴이 일치하면 푸시를 거부하세요.

안티 패턴 4: 호스트 역할 교체 (Host role swap)

증상 (Symptom)

무료 서버는 짧은 데모로 시작합니다.
일주일 후에는 상태(state)의 유일한 사본을 보유하게 됩니다.
역할이 조용히 바뀐 것에 대한 커밋 기록이 없습니다.

근본 원인 (Root cause)

실제 페이지는 사용자에게 실제 소유권처럼 느껴졌습니다.
무료 옵션은 일시 중지되거나, 초기화되거나, 사라질 수 있습니다.
만약 그 호스트가 데이터를 잊어버린다면 오늘 밤 무엇이 망가질까요?

대체 방안 (Replacement)

호스트 역할을 작업 공간(scratch) 또는 영구적(durable)으로 기록하세요.
작업 공간이 사용자 데이터를 저장할 것이라면 배포를 차단하세요.
오직 사람의 커밋을 통해서만 역할을 승격시키세요.

안티 패턴 5: 극장 테스트 (Theater tests)

증상 (Symptom)

테스트는 모델이 방금 작성한 하나의 행복한 문자열만 검증합니다.
그 테스트들은 자신들을 생성한 것과 같은 트리에 대해 통과됩니다.
빈 입력, 거대한 입력, 그리고 잘못된 타입의 입력은 어디에 있습니까?

근본 원인

모델이 방금 이야기한 이야기를 스스로 평가했습니다.
속도가 필요했기 때문에 적대적 사례(adversarial cases)들이 빠졌습니다.
계약서에는 애초에 그러한 사례들을 나열하지 않았습니다.

대안

구현 전에 실패하는 케이스들을 먼저 작성합니다.
모델이 여전히 핸들러 코드를 초안할 수는 있습니다.
하지만 모델이 테스트의 유일한 저자가 되어서는 안 됩니다.

대체 워크플로우

채팅이 끝났다고 느껴질 때에도 이 순서대로 작업하세요.
속도는 계약서가 존재하는 후에 괜찮은 것이지, 그 전에 좋은 것이 아닙니다.

1. 필요한 키들을 나열하는 스키마 파일(schema file)을 작성합니다.
2. 사용자가 고안한 거부 입력들로 구성된 케이스 파일(cases file)을 작성합니다.
3. 역할과 검사 경로를 포함하는 호스트 파일(host file)을 작성합니다.
4. 로컬 체커(local checker)를 실행하고 출력되는 모든 오류를 수정합니다.
5. 그 후에야 모델에게 핸들러 초안 작성을 요청합니다.
6. 어떤 것을 업로드하기 전에도 반드시 체커를 재실행합니다.
7. 역할이 'scratch'라고 명시된 동안에만 무료 서버를 사용합니다.

MonkeyCode는 초안 작성 단계와 scratch 호스트에서 도움을 줄 수 있습니다.
고객 행(customer rows)의 덤프가 아니라 스키마를 입력하세요.
제품 이름을 제거하더라도 주문 정보는 유지됩니다.

제안하는 체커

이 스크립트를 실행되지 않은 로컬 예시로 취급하세요.
여기서는 파이썬 표준 라이브러리만 사용합니다.
네트워크 API를 전혀 호출하지 않습니다.

#!/usr/bin/env python3
'''Local contract check. Proposal only, not a vendor SDK.'''
import json
...

파일을 리포지토리의 tools/check_contract.py에 배치하세요.
부모 조회(parent lookup)는 정확한 파일 경로를 가정합니다.
리포지토리 레이아웃이 실제로 다르면 ROOT를 변경하세요.

샘플 파일

이 파일들은 프로덕션 캡처가 아닌 예시입니다.
복사하고, 깨뜨리고, 그 파손된 부분을 고치세요.
깨진 파일에 대한 침묵의 통과(silent pass)가 당신을 속일 수 있겠습니까?

contract/host.json:

{

## 로컬 사전 푸시 힌트

이 훅(hook)을 팀 정책이 아닌 제안으로 간주하세요.
서두르는 푸시 과정에서 의도적으로 당신을 짜증 나게 할 것입니다.
짜증은 공개 로그에 남는 비밀보다 저렴합니다.

#!/bin/sh
python3 tools/check_contract.py || exit 1

이 스니펫을 로컬 사전 푸시 훅으로 저장하세요.
훅을 실행 가능하게 만들고, 해당 명령어를 문서화하세요.
훅이 없는 팀원도 동일한 검사가 필요합니다.

## 결정 테이블

| 증상 | 근본 원인 | 대체 방법 |
| :--- | :--- | :--- |
| 채팅에서 계획만 칭찬함 | 프롬프트가 동의를 요청했음 | 세 가지 실패 입력 요구|
| ... | 
읽은 최근 실제 사고와 일치하는 행을 확인하세요. 
두 개의 행이 일치하면, 먼저 비밀(secret) 행을 수정하세요.
유출된 토큰은 지저분한 스키마보다 항상 빠릅니다.

## 연습할 수 있는 실패 분석

스크립트를 신뢰하기 전에 의도적으로 샘플에 오류를 발생시키세요.
절대로 깨뜨려본 적 없는 검사기는 그저 또 하나의 고개 끄덕임일 뿐입니다.

-   필수 목록(required list)을 삭제하고 스키마 오류가 발생하는지 확인하세요.
-   역할(role)이 scratch인 상태에서 stores_user_data를 true로 설정하세요.
-   검사기(handler)에 가짜 토큰 라인을 붙여넣으세요.
-   하나의 케이스 객체에서 expect 필드를 제거하세요.
-   scan_paths를 존재하지 않는 파일로 지정하세요.

각 오류는 이유를 출력하고 0이 아닌 값으로 종료되어야 합니다. 
오류가 조용히 지나간다면, 당신의 검사기도 단순한 연극일 뿐입니다.
모델을 다시 비난하기 전에 검사기를 수정하세요.

## 제한 사항

이 검사기는 스스로 모델을 호출하지 않습니다.
따라서 핸들러가 케이스와 일치하는지 증명할 수 없습니다.
그 간극(gap)을 메우기 위해 여전히 실제 테스트 러너가 필요합니다.

비밀 정규식(secret regex)은 인코딩된 블롭(encoded blobs)과 분할 문자열(split strings)을 놓칩니다.
또한, 만약 샘플을 검사하면 장난감 예제(toy examples)도 플래그를 지정할 수 있습니다.
scan_paths는 이 문서가 아닌 소스 파일에 지정하세요.

저는 할당량(quota), 리전(region), 하드웨어 또는 보존 기간을 확인하지 않았습니다.
이 자료를 가격 책정이나 상태 페이지로 인용하지 마십시오.
벤더 페이지는 변경되며, 이 초안은 이를 따르지 않을 것입니다.

짧은 문장들이 실제 엣지 케이스(edge case)를 무디게 만들 수 있습니다.
표와 스크립트가 정확한 부분을 담고 있습니다.
만약 그것들이 귀하의 정책과 다르다면, 귀하의 정책을 유지하십시오.

## 누가 이것을 건너뛰어야 하는가

데이터가 규제되거나 고객 기밀인 경우 건너뛰십시오.
이번 주에 감사 승인(audit sign-off)이 필요한 경우 건너뛰십시오.
팀원 누구도 변경 사항(diffs)을 읽지 않을 경우 건너뛰십시오.

무료 서버가 유일한 데이터베이스여야 하는 경우 건너뛰십시오.
그 바람은 새 옷을 입은 호스트 역할 안티 패턴입니다.
일회용 상자가 시스템 기록 저장소(system of record)가 될 수 있습니까?

계약서가 버전 관리(version control)에 존재하지 않을 경우 건너뛰십시오.
오래된 파일로 작동하는 검사기는 또 다른 고개 끄덕이는 리뷰어입니다.
그 특정한 이야기가 어떻게 끝날지 이미 알고 있습니다.

## 소리 내어 질문할 가치가 있는 것들

이 함수가 거짓말을 하게 만들 입력은 무엇입니까?
벤더가 이를 기록한다면 프롬프트는 어디로 갑니까?
이 호스트가 단일 사용자를 기억하는 것이 허용됩니까?

만약 이 질문들에 답할 수 없다면, 업로드를 중단하십시오.
모델에게 칭찬이 아닌 반례(counterexample)를 요청하십시오.
그 반례를 먼저 케이스 파일에 작성하십시오.

## 다음 단계 하나

이미 잘 이해하고 있는 작은 핸들러(handler)를 고르십시오.
세션을 열기 전에 세 가지 거부 사례(reject case)를 작성하십시오.
검사기를 실행한 후, 임시 호스트가 도움이 되는지 결정하십시오.

MonkeyCode가 이미 귀하의 도구라면, 스키마만 공급하십시오.
무료 서버는 사람이 승격할 때까지 '임시(scratch)'로 표시된 상태를 유지하십시오.
나중에 벤더를 변경하더라도 동일한 게이트는 작동합니다.