취소(The Undo)는 측정되는 것이 아니라 만들어진다

이사회에 새로운 시장 진출 승인을 요청받았습니다. 이 제안은 전적인 약속을 담고 있습니다: 현지 법인 설립, 3년 임대차 계약, 직원 6명 채용, 그리고 이번 달 말까지의 서명 날짜입니다. 프레젠테이션 자료에는 대안으로 1년 동안 기다리는 것이 제시되어 있습니다. 이렇게 구성되자 회의는 용기에 대한 논쟁이 됩니다.

하지만 슬라이드에는 없는 세 번째 선택지가 있었습니다. 같은 시장이지만, 네 개의 구역 대신 하나의 구역만 공략하고, 임대차 계약은 90일 후 중단할 수 있는 조항을 포함하여 6개월로 하고, 직원 2명과 계약직 인력으로 구성하며, 특정 날짜에 재무 상태를 검토하고 중단할 권한을 갖는 서면 합의가었습니다. 이 옵션이 대부분의 전략 자료에서 빠져 있는 이유는 그것이 결정처럼 보이지 않기 때문입니다. 마치 추가 단계가 붙은 불확실성처럼 보이기 때문입니다.

하지만 그렇지 않습니다. 이것은 동일한 결정이며, 틀렸을 때 생존할 수 있도록 재구성된 것입니다. 그리고 이를 재구성하는 것이 그 결정이 속하게 될 체제를 바꿉니다.

가역성은 결정에서 읽어낼 수도 있고, 결정에 내장시킬 수도 있다

이전 시리즈에서는 다음과 같은 목록이 있었습니다: 가역적이고(reversible), 열거 가능하며(enumerable), 대량의 호출은 밀리초 단위 계층으로 넘기고, 나머지는 분 단위로 유지하라는 것입니다. 이 목록은 맞지만 돈을 잃게 만드는 방식으로 불완전합니다. 이것은 가역성을 질문 속에서 발견하는 속성으로 취급합니다. 하지만 대부분의 경우 그것은 약속의 구조 속에서 선택하는 속성입니다.

파일럿 프로그램(pilot)은 더 작은 결정이 아닙니다. 그것은 내장된 검토 날짜와 내장된 출구 전략을 가진 결정이며, 잘못된 답을 손실이 아닌 정보 구매로 전환시킵니다. 단계적 접근(Phasing)도 더 긴 시간 축에서 같은 움직임입니다. 중단 조항(break clause), 에스크로(escrow), 파일럿 고객(pilot customer), 순차적인 채용(staggered hire), 옵션이 있는 임대차 계약, 2단계 결제, 기존 시스템을 분기 동안 운영 가능하게 유지하는 설계: 이 모든 것은 결정을 저렴한 쪽으로 한 단계 뒤로 이동시킵니다. 왜냐하면 각각의 것이 잘못된 경로가 비용을 낮추게 만들기 때문입니다.

즉, 어려운 결정에 대해 던질 수 있는 정직한 첫 번째 질문은 단순히 '어떤 옵션이 더 강력한가'가 아닙니다. 그것은 '내가 틀리는 것을 이보다 싸게 만들 수 있을까?'입니다. 그 질문은 오후 안에 답을 얻을 수 있지만, 프레이밍 자체가 두 개의 문으로 미리 포장되어 제공되기 때문에 건너뛰기 쉽습니다.

취소(Undo)가 비용을 차지하는 것과 그것을 가격 책정하는 방법

탈출구를 만드는 것은 공짜가 아니며, 그렇지 않다고 가장하는 것이 이 학문 분야를 끝없는 파일럿 프로젝트에 대한 변명으로 만듭니다.

이는 직접적으로 돈이 듭니다: 파기금(break fees), 중복된 툴링 비용, 더 짧은 임대에 붙는 프리미엄, 느린 시작. 이는 위치(position)가 듭니다. 왜냐하면 파트너에게 단계적 약속은 헤지(hedge)처럼 읽힐 수 있고, 때로는 실제로 그렇기 때문입니다. 이는 주의력(attention)이 듭니다. 왜냐하면 단계적인 결정은 문을 닫는 상자라기보다는 관리하고 재검토해야 할 또 다른 것이기 때문입니다. 그리고 가장 중요한 것은 처음 구매하려 했던 것 자체를 비용으로 지불할 수 있습니다: 완전한 약속이야말로 때때로 유일하게 신뢰할 수 있는 신호이며, 잠정적인 약속은 그것을 받는 사람에게 가치가 떨어집니다.

따라서 실제로 안고 가는 오류에 맞춰 탈출구의 가격을 책정하십시오. 우리가 발표한 밴드(bands)는 실패 사례를 공개하며 이름 붙여진 벤치마크에서 자체 실행되었으며, 이것이 가격표입니다. JudgeBench에서는 620개의 판결 중 첫 번째 판결 실패가 6건 공개되었는데, 신뢰도 90% 이상으로 보고된 호출은 99.6%의 정확도를 보였고, 8090% 대역의 호출은 94.0%를 기록했습니다. 순수 정확도는 92.5%로 나왔으며, 이는 평범한 직접 기준선(direct baseline)의 92.2%와 같아 동률로 보고합니다. 만약 8090% 대역의 호출에 따라 행동한다면 잔여율은 대략 백 개 중 여섯 개이며, 질문은 산술적인 것이 됩니다: 취소 경로가 하락세의 6퍼센트보다 저렴한가? 90% 이상에서 행동하면 잔여율은 천 개 중 네 개로 줄어들어, 이때는 비싼 탈출이 구매할 가치가 없는 경우가 많습니다. 이 대역은 결정에 얼마나 많은 보험이 필요한지 알려줍니다. 명시된 신뢰도가 없다면 당신은 눈을 감고 보험을 사거나, 더 자주 그렇다면 아무것도 사지 않고 그것을 확신이라고 부릅니다.

취소할 수 없는 부분

그 규율에는 경계가 있으며, 그 경계는 짧은 답을 가진 질문입니다: 되돌릴 수 없는 것, 서명할 수 없는 것, 배울 수 없는 것을 명명하는 것입니다.

어떤 결정은 일방통행 문이며, 아무리 많은 구조적 변화도 그것을 바꿀 수 없습니다. 타인의 미래에 대한 서명입니다. 영향을 받는 사람들 앞에서 이루어진 공개적인 약속입니다. 지배적인 주식의 매각입니다. 다른 사람들이 인용할 기록의 첫 번째 항목입니다. 신뢰는 한번 소진되면 예전 가격으로 재구매되지 않습니다. 그러한 결정들은 숫자가 아무리 작아 보여도 회의록에 기록되어야 하며, 그곳에서 유용한 작업은 출구를 설계하는 것이 아니라 서명을 받을 자격이 될 만큼 충분히 속도를 늦추는 것입니다.

대칭적 오류(symmetric error)는 비싸고 흔합니다: 일방통행 문을 마치 손잡이가 있는 것처럼 취급하는 것입니다. “나중에 언제든지 바꿀 수 있어”라는 말은 발표가 나가거나, 팀이 그것을 중심으로 재편되거나, 상대방이 자신만의 계획을 세우기 전까지는 사실입니다. 가역성(reversibility)은 당신의 의도에 맞추어 검증되는 것이 아니라 다른 당사자의 행동에 맞춰 검증되어야 합니다. 아무도 동의하지 않은 단계적 출구는 출구가 아닙니다; 그것은 달력이 붙은 희망일 뿐입니다.

그리고 세 번째 오류는 목록을 분류하는 사람들이 장려하는 것입니다: 구조화된 결정을 용기의 실패로 취급하는 것입니다. 출구를 매입한 팀은 종종 헌신하지 않았다고 설명됩니다. 실제로 그들이 한 것은 결정을 비율, 읽기 날짜(read date), 그리고 기계가 처리할 수 있는 영역으로 옮기고, 다시는 열리지 않는 문들을 위한 회의록을 확보한 것입니다.

기록되지 않은 출구는 출구가 아니다

여기서 이 내용은 시리즈의 나머지 부분과 연결됩니다. 출구 경로는 문서이거나, 아니면 존재하지 않습니다.

이것은 네 가지를 명시해야 합니다: 누가 그것을 끌어낼 수 있는지, 언제까지, 어떤 비용으로, 그리고 어떤 증거로. 미리 정해진 읽기 날짜가 없는 파일럿은 파일럿이 아닙니다. 그것은 청구서에 지연된 완전한 약속입니다. '상황이 안 좋으면'이라는 검토 트리거는 트리거가 아닙니다. 그것은 분위기입니다. 읽기 날짜가 핵심을 받치는 부분이며, 결정이 아직 흥분될 때 설정되어야 합니다. 왜냐하면 그게 중요해지는 시점에는 실수를 인정해야 하는 사람들이 달력을 쥐고 있기 때문입니다.

스테이지된(staged) 결정이 필요로 하는 두 번째 산출물은 신뢰도입니다. 선택에 붙는 숫자가 읽기 날짜를 대화가 아닌 테스트로 만듭니다. 만약 콜(call)이 94%로 보고되었고 지역(district)이 예상치의 절반으로 나왔다면, 그것은 도구 자체나 가정에 대한 실제 신호입니다. 만약 콜이 60%로 보고되었다면, 읽기 날짜에 대한 올바른 결론은 그 결정이 의도적으로 만들어진 동전 던지기와 같았고, 탈출(exit) 자체가 요점이었다는 것일 수 있습니다. 두 답변 모두 방어 가능하다면, 우리 자신의 기준은 이렇게 말합니다: ContextualJudgeBench에서 공식적인 쌍별 프로토콜에 따라 자체 실행된, 의도적으로 구성된 근접한 동률 분할(near-tie splits)의 경우, 한 쌍이 양쪽 제시 순서가 모두 정확하게 판단될 때만 카운트되므로, 무작위 하한선은 50%가 아니라 25%에 머물며, 46–60%입니다. 이 범위는 당신이 읽으려고 애써야 할 판결이 아닙니다. 오히려 undo를 구매해야 한다는 가장 강력한 주장입니다.

우리가 여전히 얻을 수 있는 결정에 대해 빚진 것들

우리는 이것의 느린 끝부분을 구축하여 편향을 선언할 권리를 갖습니다. 회의록(minutes)에 대한 주장은 숙고가 미덕이라는 것이 아닙니다. 어떤 결정은 재구성될 수 없으며, 그것들은 개인이 서명하고 그 결과로 살아가야 하는 결정들입니다.

다른 모든 것의 경우, 더 나은 움직임은 분석적이라기보다는 구조적인 경우가 일반적입니다. 오후 시간을 보내면서 잘못된 분기를 생존 가능하게 만든 다음, 속도(rate)와 날짜(date)에 읽는 것을 넘겨주십시오. Decider는 구조가 제거할 수 없는 부분, 즉 검토를 통과하는 두 개의 후보 답변 중 하나와 질문이 필요한 곳을 위한 것입니다. 그리고 이 도구는 보정된 신뢰도(calibrated confidence)와 서면 논거(written argument)를 가진 선택지를 반환하므로, 여러분이 구축한 출구가 대비할 만한 무언가를 갖게 됩니다.

가능한 곳에서 취소(undo)를 구매하십시오. 할 수 없는 곳에서 서명(signature)을 쓰십시오.