마스크 추출 방식 vs 로컬 초안 모델: 에이전트 SQL 배치에 대한 논쟁

한 플랫폼 팀은 릴리스 검토 중 에이전트가 수익 관련 쿼리를 재작성하는 과정에서 체크아웃 보고서가 멈추는 것을 목격했습니다. 이 구문은 세 개의 대형 테이블을 결합하고 선택적 술어(selective predicate)를 생략했기 때문에, 플래너는 광범위한 스캔(broad scan)을 선택했습니다. 한 엔지니어는 해당 구문이 잠금(lock)을 잡기 전에 취소했고, 모델 이름 대신 초안 경로(draft path)를 기록했습니다. 남은 결정 사항은 다음 초안을 어디서 실행할 것인지, 그리고 어떤 데이터가 프로덕션 경계를 벗어날 수 있는지였습니다.

해당 사건은 특정 회사에서 발생한 측정된 장애 보고서라기보다는 이 논쟁을 위한 복합적인 시나리오입니다. 하지만 이는 에이전트가 배치 규칙 없이 라이브 카탈로그(live catalogs)에 대해 SQL 초안을 작성할 때마다 나타나는 패턴과 일치합니다. 더 나은 언어 모델이라 할지라도, 그 자체만으로는 스키마 텍스트가 네트워크 경계를 넘나들 수 있는지 여부를 결정하지 못합니다. 배치, 마스킹(redaction), 리허설(rehearsal)을 둘러싼 소프트웨어 제어가 유창한 초안이 실행되기에 허용되는지를 여전히 결정합니다.

두 가지 신뢰할 만한 입장

입장 A는 마스크 처리된 카탈로그 추출본을 무료 호스팅 모델(free hosted model)에 전송한 다음, 반환된 SQL을 무료 일회성 서버(disposable server)에서 리허설합니다. 입장 B는 모든 초안 생성을 팀 신뢰 경계(team trust boundary) 내에 남아 있는 로컬 모델(local model)에서 유지합니다. 이 입장은 외부 서버를 오직 합성 행(synthetic rows)으로 로드된 실행 증인(execution witness)으로서만 사용합니다. 그들은 어떤 아티팩트가 이동할 수 있는지, 그리고 어떤 시스템이 실제 객체 이름(real object names)을 볼 수 있는지에 대해 의견이 다릅니다.

입장 A는 프롬프트에 현재 테이블 이름과 주요 관계가 포함될 경우 호스팅 모델이 더 유창한 SQL 초안을 작성하는 경향이 있다고 주장합니다. 마스크 추출본은 해당 호스팅 호출 전에 행 샘플, 주석 및 고민감도 컬럼 이름을 제거할 수 있습니다. 이후 무료 서버는 격리된 플래너와 프로덕션 역할이 공유하지 않는 권한 집합(permission set)을 제공합니다. 이들의 주장은 초안 생성을 프로덕션 실행과 분리하는 것이 미리 검토되지 않은 로컬 초안보다 잠금 위험을 더 줄인다는 것입니다.

Position B는 행 샘플이 제거된 후에도 컬럼 이름, 체크 제약 조건(check constraints), 관계 그래프가 제품 구조를 드러낼 수 있다고 주장합니다. 로컬 모델은 내부 도구를 통해 라이브 카탈로그를 읽을 수 있으며 그 텍스트를 절대 전송하지 않습니다. 무료 서버는 사용되더라도 합성 식별자(synthetic identifiers)와 후보 구문(candidate statement)만을 받아야 합니다. 이 주장의 핵심은 실행 증거(execution witness)가 초안 모델이 경계 밖에 위치할 필요가 없다는 것입니다.

실제로 확인할 수 있는 증거

어느 쪽 포지션도 보편적으로 더 저렴하거나, 안전하거나, 정확하다고 할 수 없으며, 이 글은 벤치마크를 보고하지 않습니다. 유용한 증거는 정성적(qualitative)이며 각 팀이 자체 작성한 카탈로그 정책에 따라 확인할 수 있습니다. 호스팅된 초안 품질은 팀이 정의된 스키마 하위 집합을 내보낼 수 있도록 허용될 때만 중요합니다. 로컬 초안 품질은 팀이 실제로 모델을 카탈로그 옆에서 실행할 수 있을 때만 중요합니다.

리허설 가치(Rehearsal value)는 폐기 가능한 서버가 유사한 인덱스를 가지고 있는지 여부에 달려 있으며, 그 서버가 무료였는지 여부에는 달려있지 않습니다. 아래 표는 어떤 공급업체, 모델군 또는 호스팅 플랜도 순위 매기지 않고 이러한 배치 입력값들을 비교합니다. 무료로 제공되는 호스팅된 모델과 무료 서버의 가용성은 분류되지 않은 실습 카탈로그에 Position A를 실용적으로 만들 수 있습니다. 하지만 그 가용성이 계약상의 금지를 변경하지는 못하며, 마스킹된 이름이 무해하다는 것을 증명하지도 않습니다.

| 결정 입력값 | 마스킹된 호스팅 초안 선호 | 로컬 초안 모델 선호 | 두 외부 경유지 거부 | :--- |
| 스키마 분류 | 이름은 내부적이지만 규제되지 않음 | 이름이 미출시 제품 범위를 드러냄 | 모든 카탈로그 텍스트는 내보내기가 금지됨 |
| ... |

아래 워크플로우는 논쟁을 위한 구체적인 배치 절차이며, 분류되지 않은 카탈로그에서도 실행할 수 있습니다. 각 번호가 매겨진 단계는 검토자가 에이전트의 설명을 신뢰하지 않고도 검사할 수 있는 아티팩트를 생성합니다. 명령어들은 PostgreSQL 스타일의 리허설 패턴이며, 사용 중인 서버 버전에 맞게 조정해야 합니다.

1. 프롬프트가 구축되기 전에 카탈로그 추출을 분류하고, 각 테이블에 대해 내보내기 가능(exportable), 마스크 필요(mask-required), 또는 로컬 전용(local-only)으로 표시합니다.
2. 이름, 유형 및 선언된 키는 유지하되, 주석과 샘플 값은 삭제하면서 카탈로그 메타데이터만으로 추출을 구축합니다.
3. 누락된 레이블, 민감한 클래스 또는 로그에서 복사된 리터럴에 대해 실패하는 자동 게이트로 추출 점수를 매깁니다.
4. 게이트가 통과하고 검토자가 호출 전에 정확한 페이로드(payload)를 읽을 수 있을 때만 호스팅 배치(hosted placement)를 선택합니다.
5. 합성 행(synthetic rows), 읽기 전용 역할(read-only role), 실행 전에 캡처된 설명 계획(explain plan)을 가진 폐기 가능한 서버에서 리허설을 수행합니다.
6. 나중에 검토하기 위해 스테이트먼트 해시 옆에 모델 배치, 추출 해시, 서버 식별자 및 설명 출력을 기록합니다.

아티팩트: 게이트, 역할, 그리고 네 가지 확인 사항

다음 Python 코드는 3단계의 게이트를 위한 제안이며, 프로덕션 정책 엔진이 아닙니다. 이 기사를 위해 비공개 카탈로그에 대해 실행된 적이 없으므로, 팀들은 이 출력을 시작 점검으로 간주해야 합니다. 통과하는 결과는 페이로드가 세 가지 명백한 실패를 피했다는 것을 의미할 뿐, 스키마가 내보내기에 안전하다는 것을 의미하지 않습니다.

import re
from hashlib import sha256

...

게이트가 통과하는 것은 필요하지만 충분하지 않으며, 리허설 역할은 여전히 데이터베이스 측 경계(database-side boundary)를 필요로 합니다. PostgreSQL에서는 검토자가 쓰기 권한을 부여하지 않고도 읽기 전용 역할을 생성하고 계획을 검사할 수 있습니다. 아래 스테이트먼트들은 모든 호스트가 동일한 기본값을 사용한다는 주장이 아니라, 폐기 가능한 서버의 패턴입니다. 누군가 실행하기 전에 날짜와 테이블 이름을 프로덕션 값이 포함되지 않은 더미 데이터(fixtures)로 교체하십시오.

PostgreSQL 문서에서 현재 공식 레퍼런스의 EXPLAIN과 권한 규칙 (privilege rules)을 참고하여, 해당 명령의 주요 출처로 삼아야 합니다. 기본 권한은 릴리스별로 다를 수 있으므로, 팀은 부여(grants)를 복사하기 전에 해당 버전의 페이지를 읽어야 합니다. 만약 임시 서버가 충실한 인덱스 세트를 호스팅할 수 없다면, 비용 예측(cost forecast)보다는 구문 증거(syntax witness)로 계획을 표시해야 합니다.

누구도 헬퍼를 신뢰하기 전에 네 가지 확인 절차를 거치고, 스크린샷 대신 반환된 딕셔너리를 기록하십시오. 이 확인 사항들은 제안에 대한 예상 동작이며, 실행된 비공개 테스트의 기록이 아닙니다. 검토자가 소스 목록과 딕셔너리를 육안으로 비교할 수 있도록 피처(fixture) 컬럼은 충분히 작게 유지해야 합니다.

1. 클래스가 존재하는 내보내기 가능한 컬럼만 나열한 페이로드를 전달하고, ok 플래그가 true일 것으로 예상합니다.
2. 이메일로 분류된 컬럼을 포함하는 페이로드를 실패시키고, 해당 컬럼 이름이 leaked 아래에 나타날 것으로 예상합니다.
3. 텍스트에 이메일 리터럴을 포함하는 페이로드를 실패시키고, 게이트가 해당 페이로드를 거부할 것으로 예상합니다.
4. 클래스 필드를 누락한 컬럼 항목을 실패시키고, 해당 컬럼 이름이 missing 아래에 나타날 것으로 예상합니다.

무료 연습 환경의 적합성

유지된 로컬 모델이 없는 팀들도 운영 환경(production)에 손대지 않고 에이전트 SQL을 연습할 장소가 필요합니다. 이러한 환경에서 MonkeyCode의 무료 모델 접근 및 무료 서버 옵션은 해당 게이트 경로를 위한 연습 환경으로 활용될 수 있습니다. 고지: 본 기사는 MonkeyCode의 제품 홍보의 일환으로 작성되었습니다. 독자들은 이 기사가 가용성을 영구적인 것으로 취급하지 않으므로, 어느 쪽 환경에 의존하기 전에 현재 약관을 확인해야 합니다.

이 문서는 모델명, 할당량(quota), 하드웨어 또는 기간을 명시하지 않습니다. 왜냐하면 그러한 사실들이 안정적인 사양으로 제공되지 않았기 때문입니다. 무료 옵션은 이미 게이트를 통과한 분류되지 않은 카탈로그에서 워크플로우를 시도하는 비용을 낮출 수 있습니다. 하지만 이는 분류 게이트(classification gate)를 대체할 수는 없으며, 영구적인 제어 경계로 간주되어서는 안 됩니다. 만약 게이트가 실패하면, 검토자는 초안을 로컬에 유지하고 여전히 설명 단계(explain step)를 위해 격리된 데이터베이스를 사용합니다.

제한 사항 및 건너뛰어야 할 경우

마스킹 컬럼 이름은 스키마 자체를 익명화하지 못합니다. 왜냐하면 고유한 테이블 이름만으로도 출시, 파트너십 또는 사기 규칙을 유추할 수 있기 때문입니다. 따라서 위치 A는 행 샘플이 프롬프트에 나타나지 않더라도 이름 자체가 기밀인 카탈로그에게는 안전하지 않습니다. 빈 통계치를 가진 무료 서버는 비용 비교를 오도할 수 있으므로, 그 계획 비용은 프로덕션 예측으로 간주되어서는 안 됩니다. 또한 샘플 게이트는 이메일 주소와 유사하지 않은 내부 식별자를 포함하여 많은 비밀스러운 형태(secret shapes)를 놓칩니다.

팀은 계약상 외부 추론(external inference)이 금지되어 있거나 분류 레이블이 불완전할 때는 호스팅된 경로(hosted path)를 사용해서는 안 됩니다. 또한 에이전트가 도달 가능한 모든 데이터베이스에서 쓰기 자격 증명(write credentials)을 얻을 수 있을 때도 해당 경로를 건너뛰어야 합니다. 만약 승진된 진술(promoted statement)마다 인간의 승인 단계(human acceptance step)를 배치할 수 없다면, 이 논쟁은 잘못된 도구입니다. 유창한 초안에서 프로덕션으로 자동화되는 승진 과정은 뒤따르는 의사 결정 규칙 밖에 존재합니다.

의사 결정 규칙

검토자는 해당 후보 진술(candidate statement)에 대해 세 가지 조건이 모두 충족될 때만 마스킹된 호스팅 초안을 선택해야 합니다. 참조되는 모든 객체는 페이로드(payload)가 호스팅 호출(hosted call)을 위해 조립되기 전에 분류 가능하게 내보내져야 합니다. 게이트 보고서에는 민감한 컬럼이나 리터럴(literals)이 없어야 하며, 리허설 서버는 프로덕션과 격리된 상태를 유지해야 합니다. 어떤 객체라도 로컬 전용(local-only)이거나 팀이 호출 전에 정확한 페이로드를 검토할 수 없는 경우에는 로컬 초안 모델을 선택해야 합니다.

쓰기 접근을 방지할 수 없거나 신뢰할 수 있는 비운영 미러가 존재하지 않을 때는 외부 호프(external hops) 모두 거부합니다. 이 규칙은 증거가 혼합되거나, 불완전하거나, 또는 분류를 기다리는 경우 항상 더 엄격한 배치를 선호합니다. 유창함이 안전의 증거는 아니며, 자유로운 연습 표면(free practice surface)이 허용 가능한 경계의 증거도 아닙니다. 기록된 추출 해시(extract hash), 역할 부여(role grant), 그리고 설명 출력(explain output)은 나중에 검토하는 사람들이 신뢰해야 할 수락 패키지입니다.

만약 검토 메모에 배치 정보는 포함되어 있지만 계획(plans) 정보가 없다면, 다음 에이전트 SQL 변경 전에 추출 해시를 추가하십시오. 이 단일 필드는 초안 모델이 로컬에서 실행되었든 아니면 무료 호스팅 연습 경로에서 실행되었든 논쟁을 감사 가능하게 만듭니다. 내보내기 승인(export clearance) 권한을 가진 팀은 픽스처(fixtures)에 대한 두 배치를 비교하고, 계획이 불일치할 경우 더 엄격한 결과를 유지할 수 있습니다.