검토자는 “AI 사용 불가—수동으로 완료해 주세요.”라는 메시지를 받습니다. 이 요청에는 프롬프트 버전, 부분적 출력(partial output), 시도된 작업, 또는 원격 작업이 여전히 완료될 수 있는지에 대한 어떠한 표시도 포함되어 있지 않습니다. 이것은 인계(handoff)가 아니라 증거 손실입니다.

상태 기록은 사용자 경험을 설명하지 않은 채 시나리오만을 제공합니다. OpenAI의 7월 25일 첫 번째 장애 사례는 09:17:49 UTC에 시작되어 10:02:52에 완화 모니터링(mitigation monitoring) 단계에 도달했으며, 11:08:36에 해결되었습니다. 두 번째 이벤트는 11:35:24에 시작되었으며, 조사 결과 완화 조치가 진행되는 동안 오류가 급증한 것으로 확인되었습니다. 이후 공식 상태에는 '부분적 시스템 저하(Partial System Degradation)'라고 표시되었습니다. 우리는 원인, 전 세계적 범위, 정확한 영향 인구, 또는 두 번째 이벤트의 최종 결과에 대해 추측해서는 안 됩니다.

의사결정을 중심으로 인계 설계하기

의사결정권자는 대기, 수동 완료, 또는 다른 제공업체(provider) 검토 중 하나를 선택해야 합니다. 각 선택은 중복되거나 일관되지 않은 작업을 생성할 수 있으므로, 작업 카드(card)는 조치를 제안하기 전에 증거를 보존해야 합니다.

제공업체 불확실성 (Provider uncertainty)
  -> 증거 스냅샷 동결 (freeze evidence snapshot)
  -> 미결 시도 사항 표시 (show unresolved attempt)
...

제안된 인계 카드(handoff card)에는 다음 내용이 포함되어야 합니다:

• 작업 목적 및 현재 소유자;
• 입력 버전 및 민감 데이터 요약;
• 시도 식별자(attempt identifier), 제공업체(provider) 및 마지막 확인된 상태;
• 미완성임을 명확히 표시된 부분적 출력 (partial output);
• 이미 적용된 작업 대 단순 제안된 작업;
• 소스 타임스탬프 및 상태 관찰 시간;
• 미결 질문 및 추측 시의 결과;
• 가역성 레이블(reversibility labels)이 포함된 다음 작업 버튼.

“다른 모델 시도하기”는 비교 단계를 열어야 합니다. 멀티 제공업체 폴백(Multi-provider fallback)은 의미론적 위험(semantic risks)을 수반합니다. 다른 모델이 지침을 재해석하거나, 도구(tools)를 다르게 사용하거나, 문맥(context)을 누락하거나, 상충하는 결과물(artifact)을 생성할 수 있기 때문입니다. 어떤 데이터가 전송되는지 명시하고, 권한이나 증거가 변경될 때는 새로운 승인을 요구해야 합니다.

연구 결과가 아닌 연구 프로토콜 (Research protocol, not findings)

다음은 실행되지 않은 연구 계획입니다. 대상 검토 역할을 실제로 수행하는 참가자를 모집하십시오. 도메인 판단 (domain judgment)이 중요한 경우, 편리한 관찰자로 대체하지 마십시오.

각 참가자에게 세 가지 시나리오를 제공하십시오: 응답이 없는 시도, 부작용이 없는 부분적인 초안, 그리고 파일을 작성했을 수도 있는 알 수 없는 시도입니다. 참가자들에게 현재 상태를 설명하고, 다음 행동을 선택하며, 필요한 증거를 식별하도록 요청하십시오.

기록 사항:

1. 참가자가 해결되지 않은 시도를 인지하는지 여부;
2. 제안된 변경 사항과 적용된 변경 사항을 구분할 수 있는지 여부;
3. 어떤 누락된 필드가 안전한 의사결정을 방해하는지;
4. 전환하기 전에 중복 여부를 예측하는지 여부;
5. 자신의 선택을 되돌리거나 에스컬레이션 (escalate) 할 수 있는지 여부.

중단 조건 (stop condition)은 참가자가 알 수 없는 상태를 실패로 취급하거나, 부분적인 출력을 승인된 것으로 반복해서 처리하게 만드는 모든 설계입니다. 성공은 속도만으로 결정되지 않습니다. 그것은 올바른 증거에 의해 뒷받침되는 의사결정입니다. 접근성 검토 (accessibility review)의 일환으로 키보드 순서, 헤딩 (heading) 구조, 확대/축소, 색상 이외의 상태 큐 (non-color status cues), 그리고 안내 동작 (announcement behavior)을 확인하십시오.

탈출 옵션을 구조 작업이 아닌 증거로 제시하기

한 팀은 현재 페이지에 "Start free"라고 표시된 해외 MonkeyCode 호스팅 환경을 평가할 수 있습니다. 해당 서비스의 공식 README는 빌드, 테스트, 미리보기 및 통합 모델을 갖춘 서버 관리형 클라우드 환경을 설명합니다. 정확한 문구는 "free to start"이며, 모델/서버 할당량(quota), 지역, 가동 시간(uptime) 또는 SLA 약관은 변경될 수 있으므로 콘솔에서 다시 확인해야 합니다.

이 프로젝트는 또한 공식 AGPL-3.0 리포지토리를 보유하고 있습니다. 메인 커밋 18baaf54937a65a7d47f1f9d83dd808777aa6cea에서 검토된 README는 내장된 개발 환경, 모델, 작업 및 요구사항 관리를 설명합니다. 저는 해외 호스팅을 시험 경로로, 소스 접근을 검사 또는 셀프 호스팅 (self-hosting) 탈출 옵션으로 구성하겠습니다. 어느 쪽도 중단 없는 운영을 보장하지는 않습니다; 호스팅된 MonkeyCode의 신뢰성은 테스트되지 않았습니다.

디자인 연구를 수행할 때는 참가자들이 어떤 인터페이스를 "좋아하는지" 묻기보다는, 각 경로가 위에서 언급한 인계 필드(handoff fields)를 보존하는지 비교하십시오. 권장 사항은 특히 부분적인 작업(partial work)과 미결된 작업(unresolved actions)을 중심으로 증거의 연속성(evidence continuity)을 따라야 합니다.

콘텐츠 체크리스트

작업을 사람에게 넘기기 전에 다음을 질문하십시오: 무엇이 알려져 있는가? 무엇이 추론된 것뿐인가? 어떤 작업이 여전히 완료될 수 있는가? 승인 이후 무엇이 변경되었는가? 검토자가 안전하게 되돌릴(undo) 수 있는 것은 무엇인가? 만약 인터페이스가 이러한 질문에 답할 수 없다면, 근거 없는 확신을 만들어내기보다는 작업을 일시 중단해야 합니다.

공개 사항: 저는 MonkeyCode 사용자로서 저의 개인적인 경험을 공유하는 것이며, 해당 프로젝트와 관련이 없습니다.

AI 지원 공개: 이 기사는 AI의 지원을 받아 초안이 작성되었으며, 인용된 1차 자료를 바탕으로 검토되었습니다.