클레임을 배포하기 전에 침묵의 메모를 보여주세요

저는 이런 종류의 검토를 위해 스테이징(staging) 장면을 하나 유지합니다. 히어로 라인에는 페이지가 완전히 접근 가능하다는 문구가 적혀 있습니다. 이 문구는 팀원들이 잠든 사이에 모델에 의해 작성되었습니다.

만약 목요일에 그 문장을 배포하시겠어요? 제가 승인한다면 결정권자입니다. 낯선 사람이 게시된 후에 그 약속을 테스트할 수 있습니다.

되돌릴 수 있는 순간은 검토 카드 위에 놓여 있습니다. 게시된 후에는 그 약속이 이미 공개적인 사실이 됩니다. 저는 취소(undo)가 사과가 아니라 눌러야 하는 버튼이 되기를 바랍니다.

최근의 공개적인 글쓰기는 같은 상처를 건드렸습니다. 일부 모델은 문제를 알아차리고 침묵할 수 있습니다. 저는 그 저자의 숫자를 제 것으로 빌려 쓰지 않을 것입니다.

그렇다면 승인 전에 카드에 무엇이 속해야 할까요? 저는 초안(draft)이 삼켜버린 간극을 글로 원합니다. 이 간극을 '침묵의 메모(silence note)'라고 부르고, 눈에 보이게 유지하고 싶습니다.

사람들이 걷도록 만드는 복도

짧은 복도에 있는 두 개의 문을 생각해 보세요. 한 문은 세련되어 보이고 친절하게 느껴집니다. 다른 문은 증거(evidence)이며 무례하게 느껴집니다.

팀들은 시간이 촉박할 때 친절한 문을 선택합니다. 저는 그들에게 먼저 무례한 문으로 안내합니다. 설 수 없는 매끄러운 문구에 왜 보상을 해야 할까요?

flowchart LR
  claim[페이지의 클레임] --> notice[무엇이 발견되었는지 묻기]
  notice --> silence[침묵의 메모 작성]
...

그 이미지는 연구 결과가 아니라 패턴입니다. 저는 이것으로 코호트(cohort)를 점수 매긴 적이 없습니다. 오늘 하나의 클레임에 대해 실행해 볼 수 있습니다.

하나의 클레임을 동결시키기 (Freeze one claim)

저는 전체 페이지가 아닌, 하나의 문장부터 시작합니다. 클레임은 낯선 사람이 테스트할 수 있는 약속입니다. 친근한 어조는 분위기일 뿐, 클레임이 아닙니다.

당신이 제거해야 할 수도 있는 라인을 왜 다듬을까요? 저는 먼저 로컬 파일에 단어들을 동결시킵니다. 모델은 아직 투표를 하지 않았습니다.

mkdir -p silence-note && cd silence-note
cat > claim.txt << 'EOF'
This portfolio is fully accessible.
...

검증(Verification)은 지루해서 제가 좋아합니다. 단어 수는 하나의 클레임으로 유지해야 합니다. 만약 'and'가 두 번째 약속을 숨기고 있다면, 파일을 분할하세요.

추측과 증거를 분리하기

저는 어떤 모델이 말하기도 전에 책상을 정리합니다. 증거는 사람이 열어볼 수 있는 기록입니다. 가설(hypothesis)은 신뢰에 대한 단지 추측일 뿐입니다.

cat > buckets.json << 'EOF'
{
"claim": "This portfolio is fully accessible.",
...
}

The 검사는 buckets-ok을 출력한 후 멈춰야 합니다. JSON 구조가 깨지면, 먼저 형태(shape)를 고치세요. 망가진 카드 하나가 초안이 완성된 것처럼 보이게 만듭니다.

실제로 이 주장을 뒷받침할 기록은 무엇일까요? 이름과 날짜가 적힌 키보드 통과 기록 같은 것이요. 세련되게 다듬어진 모델 문단으로는 그 기록이 될 수 없습니다.

제 취향 외에, 이것을 멈추게 하는 것은 무엇일까요? 접근성 표준(Accessibility standards)은 이미 가벼운 준수 주장(casual conformance claims)에 대해 경고하고 있습니다. 저는 새로운 사용자 연구가 아니라 디자인 규칙을 제시하는 것입니다.

빛나는 것 대신 침묵을 요청하라

이제 무료 초안 작성 패스(drafting pass)는 자신의 자리를 얻을 수 있게 되었습니다. 그것은 주장을 축복하기보다 메모를 초안할 수는 있습니다. 더 저렴한 초안으로도 그 간극을 숨길 수 있을까요?

공개 고지: 이 글은 MonkeyCode의 제품 홍보(product outreach)의 일환으로 작성되었습니다. MonkeyCode는 이 홍보가 다루는 오픈 소스 프로젝트입니다. 샌드박스 단계에서 이를 사용하기 때문에 여기서 언급합니다.

홍보 내용에는 무료 모델 접근과 무료 서버가 명시되어 있습니다. 또한 1,000만 토큰의 무료 풀도 명시되어 있습니다. 저는 이 글을 위해 그 조건을 다시 측정하지 않았습니다.

계획을 세우기 전에 실시간 조건(live terms)을 확인하세요. 제안은 변하고, 튜토리얼이 그것들을 고정해서는 안 됩니다. 저는 그것들을 영구적이거나 무제한이라고 부르지 않을 것입니다.

무료 모델은 오직 침묵 메모를 초안하는 데만 사용하세요. 무료 서버는 오직 검토용 샌드박스(review sandbox)로만 사용하세요. 그곳에 개인 인터뷰 노트를 붙여넣으시겠어요?

저는 그렇게 하지 않을 것이고, 당신도 그래선 안 됩니다. 원본 연구 기록(raw research transcripts)은 그 서버에 두지 마세요. 샌드박스는 배지가 달린 금고가 아닙니다.

cat > silence-prompt.txt << 'EOF'
You are drafting a silence note for a human reviewer.
Claim: This portfolio is fully accessible.
...

저 프롬프트는 기록된 실행(logged run)이 아니라 프로토콜입니다. 저는 비밀 시험의 점수를 공개하지 않습니다. 원본 답변은 손대지 않고 저장해야 합니다.

test -f model-silence.json && python3 -m json.tool model-silence.json > /dev/null && echo "reply-json-ok"

raw reply를 저장한 후에만 해당 검사를 실행하세요. 네 개의 키가 존재해야 하며, 그렇지 않으면 파일을 폐기합니다. 모델이 클레임을 재작성했다면 그것도 폐기하세요.

클레임 옆에 메모 배치하기

채팅 탭은 침묵이 논쟁에서 승리하는 곳입니다. 승인자는 클레임과 메모를 모두 봐야 합니다. 나란히 배치해야 하며, 그렇지 않으면 폴리싱 문(polish door)이 다시 열릴 것입니다.

cat > review-card.json << 'EOF'
{
  "claim": "This portfolio is fully accessible.",
...

제가 필드를 보여주기 위해 손으로 작성한 샘플입니다. 모델의 출력물도, 테스트 결과도 아닙니다. 발견 사항이 아니라 양식(form)처럼 취급하세요.

카드를 호스팅한다면 청중을 작게 유지하세요. 한 명의 지정된 승인자만 이 통과를 위해 충분합니다. 왜 아예 대중에게 샌드박스를 보여주려고 할까요?

로컬 검사로 실패 처리하기 (Fail closed)

저는 친절하지 않은 것을 거부하는 명령을 원합니다. 누락된 침묵은 '승인됨(approved)'이라는 단어를 막아야 합니다. 예쁜 복사본이 녹색 체크 표시를 통과하게 해서는 안 됩니다.

#!/usr/bin/env python3
"""로컬 검사를 위한 침묵 메모 리뷰 카드. 실행하지 않으면 작동하지 않습니다."""
import json, sys
...

체커(checker)를 check_card.py로 저장한 후 실행하세요. 그리고 팀원과 함께 종료 코드를 소리 내어 읽으세요. 조용한 통과는 진정한 클레임과 같지 않습니다.

python3 check_card.py review-card.json
echo "exit:$?"

여기서 정지 라인(stop line)과 종료 코드 3이 보여야 합니다. 이는 클레임이 통과했다는 것이 아니라 가드(guard)가 작동했다는 것을 의미합니다. 만약 기분 좋은 '모두 괜찮음'을 본다면, 스크립트가 잘못된 것입니다.

여기서 노이즈만 추가할 추가 필드는 무엇일까요? 분위기 점수(vibe score), 또는 가짜 신뢰도 백분율 같은 것들입니다. 그런 숫자들은 사람들을 진정시키고, 그러면 그들은 배포합니다.

지친 사람이 카드를 읽듯이

리뷰 카드 역시 사람들을 차단할 수 있습니다. 저는 밤늦게 키보드에 한 손을 올린 채 그것을 읽습니다. 마치 영어가 제 두 번째 언어인 것처럼요.

마우스를 가져가지 않고도 정지 이유(stop reason)에 도달할 수 있을까요? 정지 상태 텍스트가 단순히 색상만은 아닐까요? 복구(recovery) 과정이 다음 행동을 평범한 단어로 알려줄까요?

python3 - << 'PY'
import json
card = json.load(open("review-card.json"))
...

명령어는 'stop'이 색상 키가 아닌지 여부만 확인합니다. 레이아웃을 볼 수 없기 때문에, 당신은 여전히 그것을 읽어야 합니다. 인쇄물에 a11y-text-ok이라고 적혀 있었나요, 아니면 건너뛰었나요?

빨간색 배지 하나만으로는 침묵의 메모가 될 수 없습니다. 만약 그 메모가 긴 폴드 아래에 위치한다면, 저는 그것을 실패 처리합니다. JSON이 완벽했더라도 패턴은 실패했습니다.

'stop'을 소리 내어 말하기

저는 승인자에게 네 줄을 소리 내어 읽도록 요청합니다. 그들은 클레임(claim), 갭(gap), 스톱(stop), 그리고 복구(recovery)를 언급합니다. 만약 그들이 말을 더듬는다면, 카드는 준비되지 않은 것입니다.

그 읽기 후에 문장이 여전히 진실하게 들리나요? 'accessible'에서 목소리가 떨린다면, 배포를 보류하세요. 당황스러움은 스타일 문제가 아니라 신호입니다.

저는 이것을 마감 시의 주방 인수인계와 비교합니다. 출입문 메모가 가니시보다 더 중요합니다. 깨끗한 접시라도 누락된 알레르기 카드(allergen card)를 숨길 수 있습니다.

폐기된 문장 유지하기

만약 클레임이 이미 스테이징 URL에 놓여 있었다고 가정해 봅시다. 복구는 윙크와 함께하는 더 밝은 슬로건이 아닙니다. 복구는 기록과 함께 있는 작지만 진실한 문장입니다.

저는 폐기된 클레임을 카드 안에 유지합니다. 다음 주에 누군가가 그것을 기억에서 다시 붙여넣을 것입니다. 이 기록이 감사할 수 있는 메모리입니다.

cat > recovery.txt << 'EOF'
Removed claim: This portfolio is fully accessible.
Replacement: Keyboard path not yet recorded. This page is not a conformance statement.
...

확인 과정은 recovery-recorded를 출력한 다음, 나머지를 출력해야 합니다. 이전 클레임은 파일에 따옴표로 남아 있어야 합니다. 따옴표를 삭제하는 것이 거짓 약속이 돌아오게 하는 방식입니다.

제가 가장하지 않을 것들

침묵의 메모는 가중치(weights)를 들여다보는 창문이 아닙니다. 모델은 자신이 가지고 있지 않았던 갭을 생략할 수 있습니다. 또한 신중해 보이려고 갭을 꾸며낼 수도 있습니다.

그것이 바로 빈 증거가 여전히 승인을 막는 이유입니다. 스톱의 주인은 스크립트가 아니라 인간입니다. 스크립트는 단지 당신이 확인한 것처럼 가장하는 것을 거부할 뿐입니다.

이것을 법적 적합성 감사(legal conformance audit)에 사용하지 마세요. 사적인 연구 기록물에는 사용하지 마세요. 무료 서버에 운영 트래픽을 호스팅하지 마세요.

이름 있는 사람이 카드를 읽지 않을 경우 건너뛰세요. 읽지 않은 카드 큐는 느린 '게시' 버튼입니다. 아무도 끝내지 않는 의식에서 누가 이득을 얻나요?

무료 모델 접근은 초안 작성을 저렴하게 만듭니다. 명시된 토큰 풀은 재시도의 예산일 뿐입니다. 인간 독자를 건너뛸 이유는 아닙니다.

저는 측정된 토큰 비용을 보고하는 것이 아닙니다. 제가 그 측정을 수행하지 않았으므로, 가짜로 만들지 않겠습니다. 프로젝트 페이지에서 해당 약관이 삭제되면, 범위를 재조정하세요.

하나의 주장(claim), 그리고 결정

이번 주에 출시하려고 했던 주장 하나를 고르세요. 로컬 검사를 실행하고 그 옆의 메모를 읽으세요. 그런 다음 중지 이유가 여전히 보이는 동안 결정을 내리세요.

초안 작성 샌드박스를 원한다면, 현재 문서를 읽어보세요. 이 프로토콜을 프로젝트가 오늘 제공하는 것과 일치시키세요. 친절한 복도에도 잠긴 증거실 문이 필요합니다.