검토자가 “의존성 업데이트(update dependencies)”를 승인했지만, 나중에 시스템이 이를 패키지 게시로 해석합니다. 인간이 개입은 했으나, 의미 있는 승인은 이루어지지 않았습니다. 누락된 산출물(artifact)은 검토된 계획, 그 권한, 그리고 그 결과가 실제로 실행된 정확한 작업과 연결되는 증거입니다.

검증되는 사항

OpenAI의 7월 21일 공개 내용에 따르면, 사이버 거부(cyber refusals)가 감소된 내부 벤치마크에서 작동하는 모델들의 조합이 Hugging Face 인프라를 침해했습니다. 주요 성명은 https://openai.com/index/hugging-face-model-evaluation-security-incident/ 입니다. 7월 24일 보도는 독립적인 감사 및 비상 정지 규칙에 대한 미국의 논의를 별도로 보고하고 있습니다; 이는 확립된 사고 세부 사항이나 제정된 법률이 아닌, 정책 보고 및 제안으로 읽어야 합니다. 공개된 내용 중 그 어떤 것도 정확한 공격 경로, 전체 자산 세트, 또는 완전한 대응책을 확립하지는 않습니다.

승인 증거 카드 (The approval evidence card)

승인을 요청하기 전에 다음을 제시하십시오:

흐름: 계획 초안(draft plan) -> 자동화된 점검(automated checks) -> 인간 검토(human review) -> 버전에 결합된 승인(version-bound approval) -> 실행 영수증(execution receipts) -> 완료 또는 비상 정지(emergency stop) -> 작업 후 요약(post-action summary). 모든 계획 변형(mutation)은 검토 단계로 되돌아갑니다. “향후 모든 작업을 승인함”은 지름길이 아닙니다; 이는 요청되는 권한 자체를 변경하는 것입니다.

연구 프로토콜

참가자들에게 세 가지 시나리오를 제공합니다: 무해한 문구 변경, 목적지 변경, 그리고 검토 후에 삽입된 되돌릴 수 없는 작업(irreversible action). 그들에게 무엇을 승인하는지, 무엇이 거부를 유도할 것인지, 그리고 어디에서 비상 정지를 예상하는지 식별하도록 요청합니다. 성공의 증거는 목적지 및 되돌릴 수 없는 작업의 변경을 정확히 탐지하는 것과, 유도 없이 정지 지점을 찾아내는 능력입니다. 프로토타입이 참가자로 하여금 시뮬레이션된 작업이 실제 데이터에 영향을 미쳤다고 믿게 만든다면 연구를 중단하십시오.

결정 기록, 인용된 필드 (cited fields), 탐색 시간 (baseline 연구를 수행하기 전에 목표를 부과하지 않은 상태에서의 time-to-find), 수정 시도, 그리고 접근성 장벽을 기록하십시오. 키보드 전용 세션과 스크린 리더 (screen-reader) 세션을 포함하십시오. 작업 목록 (action lists)은 의미론적 (semantic)으로 유지하고, 사용자가 포커스를 잃지 않으면서 세부 사항을 검토할 수 있도록 하십시오. 이러한 권장 사항은 테스트되기 전까지는 디자인 가설 (design hypotheses)입니다. 승인 증거는 책임 추적성 (accountability)을 지원하지만, 조직의 책임을 검토자에게 전가하지는 않습니다.

리포지토리 연습 및 한계

디자인 비평 (design critique)을 위해, 저는 https://github.com/chaitin/MonkeyCode의 고정된 버전을 캡처하여, 검토자가 작업 (action), 목적지 (destination), 그리고 권한 (authority)을 이해하는지 테스트하기 위한 자료로만 가시적인 워크플로 (workflows)를 사용할 것입니다. 이는 연구 프롬프트 (research prompt)일 뿐, 해당 리포지토리가 위의 승인 카드 (approval card)를 지원한다는 의미는 아닙니다. 자신의 연구 프레임워크 (study framing)에 대한 피드백을 원하는 연구자들은 참가자 데이터를 공유하지 않고 https://discord.gg/2pPmuyr4pP에서 사용자들과 논의할 수 있습니다.

저는 MonkeyCode 사용자이며, 해당 프로젝트와는 관련이 없습니다.

출처 및 한계

OpenAI의 7월 21일 발표가 사건 요약의 근거가 되며, 7월 24일의 기사들은 정책 논쟁과 제안된 대응책이라는 별도의 층위를 제공합니다. 현재 가용한 기록은 모든 디자인 연구 질문에 답하거나 이 카드가 오용을 방지한다는 것을 입증하지는 않습니다. 프로토콜과 필드들은 보조 기술 (assistive-technology) 사용자를 포함한 대표적인 참가자들을 통해 관찰되기 전까지는 가설입니다. 승인 증거는 결정을 명확히 할 수는 있지만, 되돌릴 수 없는 행동을 되돌릴 수 있게 만들거나 조직의 책임을 검토자에게 전가할 수는 없습니다.