사후 분석: 바인딩되지 않은 캐시 키가 오래된 완료(completion)를 인증한 사례

바인딩되지 않은 완료 캐시는 잘못된 모델 리비전(revision)을 인증할 수 있습니다. 이 경우, 캐시 키에서 서버 이미지 다이제스트와 프롬프트 해시가 누락되었습니다. 그 결과, 이전 계약에 맞춰 빌드된 패치가 녹색 테스트를 통과했습니다.

이 문서는 해당 실험실 실패 유형을 검토 연습용으로 재구성한 것입니다. 이는 특정 시점의 프로덕션 장애나 고객 손실을 주장하는 것이 아닙니다. 영구적인 수정 사항은 캐시 식별자를 바인딩하고 누락된 중지(stop) 메타데이터를 거부합니다.

사고 요약

평가 작업이 이전 실행에서 저장된 모델 완료 결과를 재사용했습니다. 캐시 키에는 리포지토리 이름과 테스트 경로만 포함되어 있었습니다. 나중에 프롬프트를 수정했음에도 불구하고, 그 변경 사항은 모델에 전혀 전달되지 않았습니다.

평가 호스트는 여전히 오래된 완료 텍스트를 반환했습니다. 적용기(applicator)는 이 텍스트를 새로운 통합 diff로 처리했습니다. 단위 테스트는 해당 더미 데이터(fixtures)들이 동일한 오래된 실행에서 왔기 때문에 통과했습니다.

검토 과정은 녹색 스위트(green suite)를 변경 사항의 인증으로 받아들였습니다. 하지만 이 스위트는 수정된 프롬프트로 모델을 호출한 적이 없습니다. 해당 작업에서는 인증(Certification)과 실제 실행(Execution)이 조용히 분리되어 있었습니다.

이 검토가 여전히 중요한 이유

AI 코딩 도구들이 일반적인 지속적 통합(CI) 작업 내에 자리 잡고 있습니다. 테스트 스위트가 통과했다는 사실만으로는 모델이 현재 프롬프트를 보았다는 것을 더 이상 증명할 수 없습니다. 해커톤 데모나 검토 봇은 동일한 오래된 캐시를 숨길 수 있습니다.

이 시리즈의 이전 사후 분석에서는 다른 인증 결함들을 다루었습니다. 해당 문서들은 파서(parser), 락파일(lockfile), 워크스페이스(workspace), 스트림(stream), 스키마(schema), 임포트(import) 등에 관한 것이었습니다. 이 문서는 모델 완료를 위한 캐시 식별자(cache identity)에 초점을 맞춥니다.

현재 AI 도구링 논의와의 중복 지점은 '검토 격차(review gap)'입니다. 생성된 패치는 식별자 확인 절차가 존재하기 훨씬 전에 완성된 것처럼 보입니다. 포트폴리오 데모는 이 격차를 실제 게이트에 포함시킬 수 있습니다.

타임라인

재구성된 타임라인은 주장되는 시계 시간 대신 상대적 마크(relative marks)를 사용합니다.

한 리뷰어가 짧은 캐시 키로 완료(completion)를 저장했습니다.
이후 프롬프트에 부분적인 차이(partial diffs)에 대한 실패 조항이 추가되었습니다.
평가 이미지는 더 최신 버전의 차이 적용기(diff applicator)로 다시 빌드되었습니다.
나중에 실행된 작업(job)이 캐시에 접근하여 모델 호출을 건너뛰었습니다.
적용기는 오래된 차이를 적용했고, 테스트 스위트가 통과했습니다.
리뷰어는 CI 결과가 녹색이었기 때문에 변경 사항이 인증되었다고 표시했습니다.
프롬프트 해시(prompt hash)에 대한 수동 확인을 통해 불일치가 노출되었습니다.

기여 요인 (Contributing factors)

여러 누락된 부분이 결합되어 오래된 완료가 통과할 수 있었습니다. 각 누락된 부분은 작업 로그에서 단독으로 검토될 때는 무해해 보였습니다.

캐시 키가 원본 프롬프트 바이트(raw prompt bytes)를 무시했습니다.
캐시 키가 모델 리비전 문자열(model revision string)을 무시했습니다.
캐시 키가 서버 이미지 다이제스트(server image digest)를 무시했습니다.
누락된 종료 메타데이터(finish metadata)는 정상적인 중지(stop)로 간주되었습니다.
테스트 픽스처(test fixture)는 해당 캐시 실행에 의해 작성되었습니다.
병합 게이트(merge gate)가 프로세스 종료 코드만 확인했습니다.

이러한 누락된 부분 중 어느 하나도 단독으로 패치를 인증할 수는 없었습니다. 이 조합이 어제 작성된 텍스트를 신선한 증거처럼 보이게 만들었습니다.

게이트가 입증한 것 (What the gate proved)

이 게이트는 저장된 텍스트가 충돌 없이 적용될 수 있음을 입증했습니다. 현재 모델이 그 텍스트를 생성했음을 입증하지 못했습니다. 현재 이미지가 차이를 파싱(parse)했음을 입증하지 못했습니다.

또한 새로운 프롬프트 조항이 확인되었음을 입증하지도 못했습니다. 이 구분은 유료든 무료든 모든 호스트에서 유지됩니다. 저렴한 호스트가 완료의 동일성 규칙을 완화하지 않습니다.

공개: 본 기사는 MonkeyCode의 제품 홍보(product outreach)의 일환으로 작성되었습니다. MonkeyCode는 코딩 지원 워크플로우를 위한 오픈 소스 프로젝트입니다. 운영자는 무료 모델 액세스와 무료 서버 옵션이 존재한다고 밝히고 있습니다.

본 참고 자료는 모델 이름, 토큰 상한선 또는 하드웨어 사양을 재진술하지 않습니다. 이러한 값은 변경되므로 현재 프로젝트 문서를 참조해야 합니다. 무료 서버 옵션 역시 고정된 이미지 다이제스트가 필요합니다.

짧은 키의 실패 분석 (Failure analysis of the short key)

짧은 키가 재구성된 실험(lab)에서 프롬프트 편집을 거치며 충돌했습니다. 두 개의 다른 프롬프트가 하나의 리포지토리 이름과 하나의 테스트 경로를 공유했습니다. 두 번째 작업은 종료 코드에서 그러한 충돌을 관찰하지 못했습니다.

프롬프트 바이트의 해시(hash)는 해당 항목들을 분리했을 것입니다. 이미지 다이제스트(image digest)의 해시는 다시 한번 이를 분리했을 것입니다. 이 필드들 중 어느 하나만으로는 여전히 병합 게이트(merge gate)에 너무 취약합니다.

픽스처 생성(Fixture generation)도 키의 일부가 되어야 합니다. 그렇지 않으면 오래된 완료(completion)가 스스로 작성한 픽스처를 만족시킬 수 있습니다. 그러한 자기 일치(self-agreement)는 정확성의 독립적인 증거가 아닙니다.

영구적인 수정 (Durable fix)

모든 캐시 항목을 네 가지 명시적인 식별자 입력에 바인딩하십시오. 프롬프트 해시, 모델 리비전, 이미지 다이제스트, 그리고 픽스처 생성을 사용합니다. 이 필드들 중 어느 하나라도 누락되면 히트(hit)를 거부하십시오.

정지 메타데이터(stop metadata)가 누락되었거나 알 수 없는 경우 완료를 거부하십시오. 길이 정지(length stop)는 성공적인 패치로 간주하지 말고, 자르기(truncation)로 처리하십시오. 잘린 청크(hunk)도 여전히 컴파일되어 스위트(suite)를 오도할 수 있습니다.

제안된 검사 (Proposed check)

아래의 Python 코드는 실행된 작업이 아닌, 제안된 로컬 검사입니다. CI에 배치하기 전에 경로와 필드 이름을 조정하십시오.

import argparse
import hashlib
import json
...

부분적인 청크의 컴파일은 인증(certification)이 아닙니다. 이 함수는 명시적인 정지(explicit stop)를 제외한 모든 종료 이유를 거부합니다. 라이브 키가 다르면 캐시 히트도 실패합니다.

키를 관찰 가능하게 만드는 명령어 (Commands that make the key observable)

모델 호출 자체 외부에서 이미지 다이제스트를 계산하십시오. 나중에 검토할 수 있도록 해당 다이제스트를 작업 로그 옆에 저장하십시오. latest와 같은 부유하는(floating) 이미지 레이블은 신뢰하지 마십시오.

docker image inspect "$EVAL_IMAGE" --format '{{.Id}}' | tee image_digest.txt
sha256sum prompt.txt | awk '{print $1}' | tee prompt.sha256
sha256sum fixtures/generation.txt | awk '{print $1}' | tee fixture_gen.sha256
...

어떤 적용(apply) 작업보다 먼저 라이브 키를 캐시된 기록과 비교하십시오. 출력된 키가 기록과 다르면 작업을 실패시키십시오. 키 불일치 후에는 저장된 diff를 적용하지 마십시오.

피처(fixture) 생성 해시를 네 번째 식별자 필드로 전달합니다. 플래그가 누락되면 디프(diff) 적용기가 시작되기 전에 중단되어야 합니다. 이 중단은 영구적인 수정의 일부입니다.

테스트 계획 (Test plan)

다음 검사들을 스크래치 브랜치에서 먼저 실행하십시오. 이것들은 병합 결정 전 최소한의 기준점으로 간주해야 합니다.

프롬프트 바이트를 하나 변경하고 캐시 키가 변경되는지 확인합니다.
이미지 다이제스트(image digest)만 변경하고 키가 변경되는지 확인합니다.
빈 종료 사유(empty finish reason)를 가진 레코드를 재실행하여 거부되는지 확인합니다.
종료 사유가 'length'인 레코드를 재실행하여 거부되는지 확인합니다.
이전 피처 생성의 레코드를 재실행하여 거부되는지 확인합니다.
위의 다섯 가지 검사가 모두 통과한 후에만 새로운 완료(completion)를 적용합니다.

부정 테스트 (Negative test)

이전 짧은 키는 전용 부정 테스트에 유지해야 합니다. 이 부정 테스트는 모든 실행에서 '닫힌 실패(fail closed)' 상태여야 합니다. 녹색의 부정 테스트는 식별자 게이트가 퇴보했음을 의미합니다.

의사 결정표 (Decision table)

검사를 위한 무료 호스트를 선택할 때 이 표를 사용하십시오. 이 표는 할당량 약속이 아니라 통제 지침입니다.

상황	무료 모델 접근	무료 서버	추가 제어
프롬프트와 피처가 여전히 이동 중	탐색만 가능 (Exploration only)	클린 이미지만 가능 (Clean image only)	바운드 키, 병합 불가 (Bound key, no merge)
...

이 접근 방식을 사용해서는 안 되는 경우

프롬프트에 비밀 정보나 개인 소스(private source)가 포함된 경우에는 이 흐름을 건너뛰십시오. 공유 무료 서버는 그러한 자료를 위한 적절한 장소가 아닙니다. 해당 프롬프트들은 팀이 이미 통제하는 호스트에 보관하십시오.

팀이 명명된 모델 SLA(Service Level Agreement)를 필요로 하는 경우, 또는 고정 토큰 상한선이 보장되어야 하는 경우에는 이 흐름을 건너뛰십시오. 본 문서는 그러한 상업적 조건을 확립하지 않습니다.

증거가 캐시된 녹색 스위트(cached green suite)뿐인 경우에도 건너뛰어야 합니다. 그 패턴은 완화책이 아니라 사건(incident)입니다. 또한 모든 덩어리(hunk)에 명명된 인간 소유자가 필요한 경우에도 건너뛰십시오.

캐시 검사는 그 인간 소유자를 대체하지 않습니다. 단지 오래된 완료가 인증된 것처럼 보이는 것을 막을 뿐입니다.

제한 사항 (Limitations)

이 재구성은 지연 시간(latency), 비용 또는 품질을 측정하지 않습니다. 현재 모델이나 토큰 양을 명시하지도 않습니다. 무료 접근이 계속 제공될 것이라고 주장하지도 합니다.

운영자(Operator)가 제공하는 가용성 정보는 독자들에게 예고 없이 변경될 수 있습니다. 샘플 코드는 네트워크 API를 호출하지 않습니다. 벤더 캐시가 안전하다는 것을 증명하지도 않습니다.

샘플은 게이트웨이가 적용할 수 있는 로컬 ID 확인만 보여줍니다. 이미지 다이제스트(Image digests)는 패치를 적용하는 런타임(runtime)에서 나와야 합니다. 노트북 다이제스트가 원격 무료 서버를 인증하지는 못합니다.

두 런타임이 경로에 모두 존재하는 경우 두 다이제스트를 기록하십시오. 차이점(diff)을 적용한 런타임의 다이제스트만 인증하십시오. 그 외의 것은 새로운 로그에서 원래의 ID 오류를 반복할 뿐입니다.

사건 이후 유지해야 할 것들

모든 실행 후 작업 로그에 바인딩된 키(bound key)를 보관하십시오. 해당 키 옆에 종료 사유(finish reason)도 같은 기록에 보관하십시오. 오래된 짧은 키를 거부하는 음성 테스트(negative test)도 유지하십시오.

이러한 필드 없이 녹색 실행 횟수를 계산하는 모든 대시보드는 폐기하십시오. 나중에 읽는 사람이 왜 이전 완료(completion)가 거부되었는지 알아야 합니다. 로그에는 네 가지 ID 필드와 중지 사유가 표시되어야 합니다.

이러한 필드의 부재는 빈 성공이 아니라 실패한 작업입니다. 이미 모델 차이점(model diffs)을 검토하는 팀은 먼저 이 확인 절차를 연습할 수 있습니다. 프롬프트가 공개된 경우 무료 서버만으로도 충분합니다.

무료 접근에 의존하기 전에 현재 MonkeyCode 문서를 읽으십시오. 그리고 호스트가 나중에 변경되더라도 이 게이트(gate)는 유지하십시오.