투표 용지를 누가 작성했는가: 판사가 소환되기 전에 내려지는 판단
두 곳의 장소가 2호점 입지로 후보에 올랐다. 임대료는 모델링되었고, 유동 인구는 한 달 동안 계산되었으며, 내부 시설 공사(fit-out) 견적은 세 개가 있고, 스프레드시트는 6주 동안 열려 있었다. 두 곳 모두 가능성이 있다. 방 안의 논쟁은 진정으로 어떤 장소인지에 관한 것이며, 실제 숫자로 결정된 진짜 논쟁이다.
아무도 소리 내어 말하지 않는 것은 '올해는 2호점을 열지 않고, 첫 번째 지점의 처리량 문제(throughput problem)를 해결한다'는 선택지가 목록에 없었다는 것이다.
이것은 분석의 실패가 아니다. 분석 자체는 신중했다. 이것은 분석 이전에 발생하는 단계에서의 실패인데, 그 단계는 거의 기록으로 남지 않으며, 이미 아래 스프레드시트의 모든 행보다 더 많은 결과를 결정해 버렸다. 그 단계란 무엇을 투표 용지에 올릴지 결정하는 것이다.
두 가지 행위, 그리고 오직 하나만 구매될 수 있다
어떤 결정이든 두 개의 행위로 나눌 수 있다.
첫 번째는 지명(nomination): 어떤 선택지가 허용 가능한가. 두 번째는 순위 매기기(ranking): 허용된 선택지들 중 어느 것이 더 좋은가. 이들은 서로 다른 과정으로, 다른 시점에, 다른 증거를 가지고 수행된다. 시장의 모든 판단 제품, 우리 것도 마찬가지로 오직 후자만을 실제로 수행한다.
판사는 계산기가 숫자를 받는 방식처럼 옵션 세트를 입력받는다. 그 세트가 자신의 입력 공간에 없기 때문에 범위를 넓힐 수 없다. 또한 인터페이스에 그러한 발견을 위한 슬롯이 아무것도 없기 때문에, 이 세트가 잘못되었다고 보고할 수도 없다. 그것이 할 수 있는 것은 주어진 질문에 정확하고 빠르게 답하는 것뿐이다. 이것은 누구도 숨기고 있는 제한 사항이 아니다. 이것은 범주의 형태 그 자체다.
이전 시리즈에서 나는 유형화된 판단(typed judgment)의 미덕은 가능한 답변의 집합이 호출자(caller)에 의해 정의된다고 주장했다. 이 글은 그 미덕에 대한 청구서와 같다.
통계학자가 읽는 방식으로 확률을 읽으면 누락된 부분이 명백해집니다. 신뢰도(confidence)가 0.9라는 것은 세상의 속성이 아닙니다. 그것은 이 사례와 유사한 경우들, 그리고 귀하가 제공한 옵션들 사이에서, 언급된 답이 열에 아홉 번 정도 맞다는 주장입니다. 조건화 사건(conditioning event)이 절반의 작업을 수행하고 있으며, 이는 출력물에서는 보이지 않습니다. 숫자는 어느 쪽이든 소수점 둘째 자리까지 표시됩니다.
따라서 수치는 정직하게 측정되고, 발표될 수 있지만, 애초에 실행되어서는 안 되는 비교를 설명할 수도 있습니다. 도구가 거짓말을 하는 것이 아닙니다. 질문 자체가 도구를 켜기 전에 잘못 구성되었으며, 비교 내부에서 아무리 주의를 기울여도 결코 비교되지 않은 옵션을 복구할 수는 없습니다.
저희가 발표하는 측정치들은 조건화(conditioning)가 얼마나 강하게 묶이는지를 보여주는 명확한 예시입니다. 이 수치들은 이름이 붙은 벤치마크에서 자체적으로 실행되었으며, 실패 사례는 조용히 재시도되는 것이 아니라 공개됩니다. JudgeBench의 경우: 총 620개의 판정이 있었고, 그중 처음 판결에서의 실패가 6건 공개되었습니다. 원본 정확도는 일반적인 직접 기준선(direct baseline) 대비 92.5%로 나타났으며, 이는 92.2%였습니다. 즉, 동률이며, 저희는 이 결과를 근거로 어떠한 정확도 주장도 하지 않고 동률로 발표합니다. 유의미한 부분은 구간(bands)입니다: 신뢰도가 90% 이상으로 보고된 판정들은 실제로 99.6%의 비율로 맞았으며, 80–90% 구간은 94.0%였습니다. ContextualJudgeBench에서는 공식적인 쌍별 프로토콜(pairwise protocol) 하에 자체 실행되었는데, 이 프로토콜에서는 두 제시 순서가 모두 정확해야 한 쌍이 올바른 것으로 간주됩니다. 이것이 무작위 최저선(random floor)이 50%가 아닌 25%인 이유입니다. 일관된 정확도는 67.1%로 나타났으며, 이는 벤치마크의 공식 참조값 65.4%와 비교한 수치이며, 반복적인 플랫폼 오류 후 12개의 순서가 제외되었고 이 제외 사실은 결과 옆에 명시되었습니다. 의도적으로 구성된 근접 동률 분할(near-tie splits)은 46–60%를 기록했습니다.
이제 그 단락을 살펴보고, 정답이 두 후보 중 하나였는지 알려주는 행(row)이 있는지 찾아보세요. 그런 것은 없으며, 있을 수도 없습니다. 모든 수치는 순위 결정 행위를 측정하며, 이는 애초에 누군가에 의해 허용 가능한 답이 미리 고정된 질문들에 대한 것입니다. 그것은 진정한 측정이며, 의사결정의 대략 절반을 다룹니다.
더 나은 순위는 잘못된 투표 용지를 반박하기 어렵게 만든다
프레이밍(framing)이 단순히 다음으로 측정되지 않은 영역일 뿐이고, 더 좋은 도구들이 결국 그곳에 도달할 것이라는 안락한 이야기가 있습니다. 불편한 버전은 그것보다 더 심각합니다.
순위 결정 행위를 개선하는 것은 단지 잘못된 투표 용지를 포착하지 못하는 것에 그치지 않습니다. 그것을 합법화(launder)합니다. 공개된 밴드 테이블, 제외 건수, 소유자 이름에 의해 뒷받침되는 0.91의 선택은 어깨를 으쓱거리는 것보다 검토 과정에서 훨씬 반박하기 어려운 것입니다. 측정 장치는 자신이 가리킨 쌍에 권위를 부여하고, 그 쌍은 페이지에 있는 유일한 쌍이라는 이유로 그 권위를 물려받습니다. 순위가 좋을수록 프레이밍이 더 합법적으로 보이게 됩니다.
그것은 우리 제품만의 위험이 아니라 다른 사람의 제품에서도 나타나는 것이며, 이것이 이 글이 존재하는 이유입니다. 신중한 비교는 검토되지 않은 목록이 가질 수 있는 최고의 위장술입니다. 심사위원들에게 곡선(curve)을 발표해 달라고 2주 동안 요청했던 일련의 과정은 곡선이 무엇을 측정하는지 명확히 말해야 합니다. 그것은 선택 자체가 아니라, 무엇을 비교할지에 대한 비교입니다.
옵션들이 실제로 사라지는 곳
누락(Omissions)은 무작위적이지 않으며, 그 패턴의 이름을 붙이는 것이 방어의 대부분을 차지합니다.
현상 유지(status quo)는 인쇄되지 않는다. 아무것도 하지 않고, 현행 시스템을 유지하고, 분기를 기다리거나, 전념하기 전에 2개월간 시범 운영하는 것—가장 흔한 실제 결과들은 투표 용지에 거의 쓰이지 않습니다. 왜냐하면 그것은 결정이라기보다는 결정의 부재처럼 보이기 때문입니다. 일단 페이지에서 사라지면, 논의는 마치 나열된 항목 중 하나가 반드시 승리해야 하는 것처럼 진행됩니다. 그리고 대개 그렇게 됩니다.
누락되는 것이 누군가에게 비용을 지불하게 만드는 선택지이다. 누락된 항목은 이전의 발언이 틀렸거나, 자신이 가진 능력이 조용히 문제가 된 경우라고 결론 내리도록 현장에 있는 사람에게 불균형적으로 요구되는 것이다. 생략(Omission)은 분석적 어휘로 수행되는 정치적 행위이며, 이것이 검토를 통과하는 정확한 이유이다. 어떤 점수 매기기 기준표도 한 번도 생성되지 않은 행을 표시할 수 없기 때문이다.
세 번째 방식은 타협으로 읽히고 무시된다. 실질 옵션(Real options)들은 종종 목록에 있는 두 가지 사이가 아니라 다른 틀 안에 놓인다. 즉, 공급업체 A 대 공급업체 B가 아니라, 둘 다 아니면서도 도메인 학습을 위해 내부 분기점 하나를 사용하는 것이다. 항목 두 개로 이루어진 투표 용지는 프레이밍 질문(framing question)을 선호도 질문(preference question)으로 변환하며, 허위 딜레마는 초점처럼 보여서 지속성이 있다.
아무도 측정하지 않는 부분을 위한 산출물
투표 용지(ballot)는 문서이므로 다른 문서들처럼 작성되고, 날짜가 찍히고, 서명될 수 있다.
기준보다 목록을 먼저 작성하라. 기준을 먼저 작성하면 어떤 선택지가 높은 점수를 받을 수 있는지 조용히 결정한다.
모든 투표 용지에 '무(null)'를 강제하라: 아무것도 하지 않기, 현상 유지하기, 나중에 결정하기. 그것을 인쇄하라. 만약 그것이 진정으로 실행 불가능하다면, 그 이유는 옆 페이지에 적어야 한다.
누락에 주인을 부여하라. 비교가 시작되기 전에, 목록에서 무언가가 빠졌을 때 누가 비용을 지불하는지 물어보고, 그 사람에게 행(row)을 추가할 수 있는 문서화된 방법을 제공하라. 페이지 위의 한 줄이지, 거부권이 아니다.
그 목록을 예상되는 결론에 동의하지 않는 누군가로부터 의뢰받고, 그들이 무엇을 추가할지 물어라. 두 사람이 독립적으로 같은 목록을 작성하는 것은 이용 가능한 가장 저렴한 프레이밍 검사이다.
그런 다음 선택지들 사이에 공통점이 무엇인지 물어보라. 만약 두 후보 모두 동일한 것을 가정한다—즉, 그 능력이 필요하다는 것, 시장이 작년과 같다는 것, 이것이 범위 설정 문제(scoping problem)가 아니라 채용 문제라는 것—그 공유된 가정이 결정이며, 비교는 그것의 하류에 있다.
심판의 책임이 끝나는 곳
쌍별 심판(pairwise judge)은 하나의 질문과 두 개의 후보 답변을 받습니다. 이 심판은 두 답변 중 어느 것이 더 강력한지, 그리고 그에 대해 얼마나 많은 확신도를 갖는지 알려줄 수 있습니다. 하지만 두 쌍이 불완전하다는 사실은 알려줄 수 없으며, 그렇게 가장해서도 안 됩니다. 투표 용지는 작업의 선택적 서문(optional preamble)이 아닙니다. 그것 자체가 입력값이며, 이 장치가 침묵하고 있는 결정의 절반입니다.
따라서 정직한 구분은 이렇습니다. 신중하게 계산하는 것은 이미 해결된 문제이며, 점점 더 저렴해지고 있습니다. 이것이 이 분야의 빠른 끝부분 전체적인 성과입니다. 비싸고 측정되지 않은 상태로 남아있는 것은 누가 투표 용지에 올라가도록 허용되었는지 여부입니다. 목록을 먼저 작성하고, '없음(null)' 옵션을 추가한 후, 누락에 비용을 지불할 사람이 서명하게 하고, 그 후에 비교를 실행해야 합니다.
만약 당신이 선택뿐 아니라 목록까지 방어해야 하는 사람—즉, 육안으로 분리할 수 없는 하나의 질문과 두 개의 후보 답변—이라면, 순위 매기기에 몇 분을 쓰는 심판이 여기 있습니다: [https://api.turingcorp.net/platform/go/decider?src=jev-13]