클린업 레이블은 무료 모델에서 생성되어서는 안 되는 이유

어느 날 밤, 한 작업이 고객 내보내기(export)를 임시 데이터로 취급했습니다. 이 레이블은 빌려온 호스트의 무료 모델에서 나왔습니다. 워커는 첫 페이지 전에 그 내보내기를 제거했습니다.

위 장면은 측정된 장애가 아닌 합성물입니다. 해당 계정은 그러한 클린업 작업을 실행하지 않았습니다. 동일한 형태가 여전히 공유되는 클린업 경로에 나타납니다.

경로가 잘못 처리한 부분

분류기(classifier)는 따라야 할 서면 보존 계약이 없었습니다. 워커는 모델이 반환한 하나의 문자열을 신뢰했습니다. 호스트는 그 선택에 대한 영구적인 기록을 유지하지 않았습니다.

삭제(Deletion)는 저렴하게 되돌릴 수 없는 상태 변화입니다. 무료 모델 경로는 표류하거나, 속도를 제한하거나, 사라질 수 있습니다. 무료 서버는 잠들거나, 재설정되거나, 로컬 디스크를 잃을 수 있습니다.

이러한 한계들은 초안 노트북(draft notebook)에는 허용 가능합니다. 하지만 라이브 삭제 결정에는 허용 불가능합니다. 레이블과 삭제는 하나의 단계를 공유해서는 안 됩니다.

위험 신호 (Red flags)

• 하나의 프롬프트가 레이블을 지정하고 삭제를 예약(enqueues)한다.
• 워커 역할이 검토된 이름 목록 외부에서 삭제할 수 있다.
• 승인 상태가 무료 호스트 디스크에만 존재한다.
• 모델 장애는 새로운 레이블뿐 아니라 복원 자체도 막는다.
• 접두사 규칙(Prefix rules)이 버전 관리되는 정책이 아닌 채팅 로그에 존재한다.
• 작업이 레이블 텍스트 변경 후 삭제를 재시도한다.
• 적용(Apply)이 통제된 서명자(signer)가 계획을 승인하기 전에 시작된다.
• 계획된 이름들이 최신 인벤토리와 대조하여 확인되지 않는다.

더 나은 대안들

drafter, signer, 그리고 applier를 별도의 시스템에 유지하세요. drafter는 사용하지 않는 것처럼 보이는 이름을 제안할 수 있습니다. signer는 정확한 이름 목록을 승인해야 합니다.

applier는 서명된 이름만 삭제할 수 있도록 하세요. signer를 이미 사용 중인 감사(audit) 시스템에 배치하세요. applier를 안정적인 ID를 가진 호스트에 배치하세요.

결정 로그(decision log)는 applier 호스트 외부에서 보존해야 합니다. 무료 서버가 임시 노트북을 보유할 수 있습니다. 하지만 유일한 승인 기록을 보유해서는 안 됩니다.

또한, 유일한 applier 바이너리도 보유해서는 안 됩니다. 재시작이 접두사가 사라진 이유를 지워서는 안 됩니다. 적용하기 전에 그 이유를 감사 시스템에 작성하세요.

쌓이는 네 가지 문제점

네 개의 오류는 일반적으로 이러한 사고 형태(incident shape)로 쌓입니다. 정책이 레포지토리 파일 대신 프롬프트에 존재했습니다. 모델 레이널과 삭제 역할이 결합되었습니다.

승인 파일은 초기화될 수 있는 디스크에 있었습니다. 워커가 완료된 후 재고 차이점(inventory diff)을 실행하지 않았습니다. 결합된 역할을 제거하면 잘못된 레이블로는 삭제할 수 없습니다.

그 분기점이 바로 로컬 게이트의 핵심입니다. 이 게이트는 광범위한 클라우드 역할(wide cloud role)을 용납하지 않습니다. 모든 레이블이 올바르게 보여도 역할을 좁히세요.

여섯 단계 워크플로우

먼저 소유 계정(owned account)에서 이 워크플로우를 실행하세요. 무료 레이널(free lane)은 세 번째와 네 번째 단계에서는 제외해야 합니다. 모든 단계를 선택 사항이 아니라 필수적인 것으로 취급하세요.

1. 소유 계정에서 접두사 재고(prefix inventory)를 내보냅니다.
2. 스크립트나 모델을 사용하여 후보 이름 초안을 작성합니다.
3. 아래 로컬 게이트를 통과하지 못하는 모든 계획은 폐기합니다.
4. 서명자에게 정확한 파일 해시를 동결하도록 요구합니다.
5. 보존된 로그와 함께 소유 호스트에서 삭제를 적용합니다.
6. 남아 있는 키들을 서명된 재고와 비교합니다.

모델은 두 번째 단계에서만 도움을 줄 수 있습니다. 두 번째 단계는 원본 객체 본문(raw object bodies)을 받아서는 안 됩니다. 접두사와 크기만 보내고, 비밀 정보나 페이로드(payloads)는 절대 보내지 마세요.

로컬 게이트 실행하기

아래 스크립트는 미실행된 로컬 예시입니다. 모델이나 클라우드 API를 호출하지 않습니다. 단지 안전하지 않은 레이블을 가진 JSON 계획만 거부합니다.

체커(checker)를 작업 디렉터리에 delete_gate.py로 저장하세요. 두 개의 샘플 계획도 같은 디렉터리에 저장하세요. 세 개의 명령어를 같은 디렉터리에서 실행하세요.

python3 delete_gate.py bad.json; echo "exit:$?"
python3 delete_gate.py good.json; echo "exit:$?"
python3 -m unittest -v test_delete_gate

bad.json에 대한 거부 결과가 예상되는 결과입니다. good.json에 대한 승인 결과가 예상되는 결과입니다. 처음 두 개의 종료 코드는 각각 2와 0입니다.

#!/usr/bin/env python3
"""미실행 예시. 무료 레이널이 소유한 삭제 계획을 거부합니다."""

...

샘플 계획

잘못된 계획은 classifier_lane을 무료 값으로 설정합니다. 호스트 클래스는 소유하고 있고, 변경 ID가 존재합니다. 게이트는 레이널만으로도 여전히 이 계획을 거부합니다.

좋은 계획(plan)은 레인(lane)과 호스트(host) 모두에 owned를 사용합니다. 객체 이름은 고유하며 inventory_count와 일치합니다. 정책 태그는 채팅 링크가 아니라 버전이어야 합니다.

{
  "classifier_lane": "free",
  "applier_host_class": "owned",
...
}

{
  "classifier_lane": "owned",
  "applier_host_class": "owned",
...
}

policy_version에 채팅 접두사(chat prefix)가 붙으면 오류가 발생합니다. 채팅 로그는 삭제를 위한 보존 계약서가 아닙니다. 계약서는 레포지토리(repo)에 넣고, 태그를 인용하세요.

셸 블록은 두 계획을 임시 디렉터리(temp directory)에 모두 작성합니다. 먼저 파이썬 파일들을 해당 디렉터리로 복사하세요. 그런 다음 이전 블록에서 세 가지 명령어를 실행하세요.

mkdir -p /tmp/delete-gate
cd /tmp/delete-gate
cat > bad.json << 'EOF'
...

유지할 가치가 있는 테스트 (Tests worth keeping)

테스트 모듈을 로컬에 test_delete_gate.py로 저장하세요. 이 파일은 게이트(gate)를 가져와 네 가지 경로를 확인합니다. 단위 테스트 명령어는 네 번의 성공을 보고해야 합니다.

import unittest
import delete_gate
...

카운트 검사(count check)가 존재하는 이유

카운트는 조용한 잘린 이름 목록(silent truncated name list)을 방지합니다. 부분적인 목록은 내보내기 접두사(export prefix)를 숨길 수 있습니다. 게이트는 계획이 자체적으로 일관된지만 확인합니다.

게이트를 적용하기 전에 서버 측 목록과 페어링하세요. 앱플라이어(applier)는 버킷을 나열한 다음 이름을 비교해야 합니다. 불일치가 발생하면 첫 번째 삭제가 일어나기 전에 작업이 중단됩니다.

결정 테이블 (Decision table)

테이블을 점수화하는 것이 아니라 라우팅 가이드로 사용하세요. 단 하나의 실패한 행만으로도 적용이 차단될 수 있습니다. 행들을 평균 내어 소프트 패스(soft pass)를 만들지 마세요.

1. 프롬프트에는 원본 객체 바이트 또는 비밀 정보가 포함되어야 합니다.
2. 팀은 서명자(signer)를 모델 외부로 둘 수 없습니다.
3. 측정된 복원 시간만으로도 복구 목표에 미달합니다.
4. 정책 텍스트는 서명된 계획보다 더 빠르게 변경됩니다.
5. 무료 호스팅 환경만이 로그가 살아남을 수 있는 유일한 장소입니다.
6. 사라진 레인(lane)은 필수적인 내보내기 작업을 차단할 것입니다.
7. 삭제 역할(delete role)도 게이트 없이 여전히 작동할 수 있습니다.

게이트를 약화시켜 승인을 강요하지 마십시오. 계획을 수정하고, 동일한 명령을 다시 실행하십시오. 모델에서 생성된 두 번째 레이블은 서명이 아닙니다.

게이트의 한계

게이트는 계획 자체가 제공하는 레이블을 읽습니다. 클라우드 ID나 버킷 규칙을 검사하지 않습니다. 거짓말을 하는 계획이라도 인벤토리 개수를 위조할 수 있습니다.

중요한 버킷에는 객체 버전 관리(object versioning)를 활성화하십시오. 이 파일을 금고가 아니라 안전벨트처럼 취급하십시오. 예시는 이 초안에서 실행되지 않았습니다.

종료 코드(exit codes)를 신뢰하기 전에 노트북에서 파일을 실행하십시오. 그 노트북에서 네 가지 테스트가 통과하는지 확인하십시오. 그런 다음 검사기(checker)를 소유한 적용 작업(owned apply job)에 연결하십시오.

이 패턴을 건너뛰어야 하는 경우

운영 환경의 삭제 작업이 존재하지 않으면 게이트를 건너뛰십시오. 일회용 파일을 가진 개인적인 장난감 버킷은 덜 복잡합니다. 여전히 무료 호스팅 환경에서 광범위한 삭제 역할을 피하십시오.

이 파일을 규정 준수(compliance) 대체재로 사용하지 마십시오. 규제 보존에는 자문단(counsel)이 이미 선택한 통제가 필요합니다. 이 검사기는 보존 프로그램에 대한 인증을 제공하지 않습니다.

프롬프트가 비밀 정보를 포함할 수 있다면 무료 레인 초안은 건너뛰십시오. 로컬 규칙 파일이 더 나은 작성자입니다. 무료 서버는 해당 규칙 파일을 위한 잘못된 장소입니다.

무료 옵션이 여전히 존재할 수 있는 곳

무료 모델 레인은 여전히 후보 이름 목록을 초안 작성할 수 있습니다. 개인 또는 소유한 작업(owned job)이 그 목록에 서명해야 합니다. 무료 서버를 사용하는 경우, 임시 메모지 역할을 할 뿐입니다.

이 초안은 MonkeyCode를 명명된 무료 레인 옵션으로 사용합니다. 공개: 이 문서는 MonkeyCode의 제품 홍보의 일환으로 작성되었습니다. 운영자는 무료 모델 액세스와 무료 서버 옵션을 설명합니다.

이 초안은 어떤 제안도 할당량 약속으로 간주하지 않습니다. 여기서는 모델 이름, 기간 또는 하드웨어 주장을 하지 않습니다. 이 경로는 앱플라이어(applier)가 아닌 사용되지 않은 접두사(unused-prefix) 초안에 사용하십시오.

워크플로우가 의존하는 경우 현재 약관을 확인하십시오. 약관이 불분명하면, 초안은 로컬 스크립트에 유지하십시오. 삭제 경로는 공급업체 상태 페이지를 기다려서는 안 됩니다.