목격자 식별(eyewitness-ID) 개혁이 AI 평가(evals)에 가르쳐 주는 것. 1985년의 라인업 변경은 목격자가 유죄와 무죄를 더 잘 구별하게 만들지 않고도 사법 시스템의 지표를 두 배로 높였으며, 백 년 된 통계학의 한 분야가 그 이유를 정확히 설명합니다.

1985년, 두 명의 심리학자가 미국 사법 시스템에 선물과도 같은 라인업(lineup) 실험을 진행했습니다.

설정은 모든 경찰 드라마에서 보여주었던 모습 그대로였습니다. 목격자 한 명과 한꺼번에 관찰되는 얼굴들의 줄입니다. Lindsay와 Wells는 이를 동시(simultaneous) 라인업이라고 불렀으며, 그들의 데이터는 경악스러웠습니다. 목격자들은 실제 범인을 57%의 확률로 지목했지만, 범인이 없고 라인업이 모두 무고한 채움 인물(fillers)로 구성되었을 때도 여전히 42%의 확률로 _누군가_를 지목했습니다. 그래서 연구진은 얼굴을 한 번에 하나씩 보여주고, 각 얼굴에 대해 예 또는 아니오로 답하게 하며, 다시 돌아갈 수 없게 하는 방식을 시도했습니다. 오인 식별(False identifications)은 42%에서 17%로 급감했습니다. 검거율(Catch rate)은 57%에서 50%로 거의 변하지 않았습니다. 당시 해당 분야에서 라인업을 평가하던 방식(정확한 식별 수를 오인 식별 수로 나눈 "진단 비율(diagnosticity ratio)")으로 계산했을 때, 순차적(sequential) 라인업은 2.94를 기록하여 동시 라인업의 1.36보다 두 배 이상 진단 능력이 높게 나타났습니다.

이 수치는 정책이 되었습니다. 1999년 10월, 확신에 차 있고 진실하지만 틀린 목격자들로 인한 DNA 무죄 입증 사례들이 늘어나자, Janet Reno의 법무부는 목격자 증거에 관한 첫 번째 국가 가이드를 발표하고 실행 가능한 경우 순차적 제시를 권장했습니다. 뉴저지주는 2001년에 이를 주 전역에 채택했으며, 여러 부서와 법원이 이후 20년 동안 이를 따랐습니다.

평가 대시보드(eval dashboard) 뒤에서 모델을 출시하는 사람들에게 중요한 부분은 바로 이것입니다. 이 개혁은 목격자들이 유죄와 무죄를 더 잘 구별하게 만든 것이 아닙니다. 그들이 선택하기를 더 주저하게 만든 것입니다. 이 둘은 서로 다른 것이며, 백 년 된 통계학의 한 분야는 바로 이 둘을 구분하기 위해 존재합니다. 그리고 이 둘을 구분하지 못하는 것이 오늘날 AI 팀이 스스로를 속이는 가장 흔한 방식입니다.

하나처럼 느껴지는 두 개의 노브(knobs)

이 통계학은 제2차 세계대전 당시 레이더실에서 탄생한 신호 탐지 이론 (Signal Detection Theory)입니다. (“ROC 곡선”은 레이더 수신기 운영자가 레이더의 점(blip)을 폭격기로 볼 것인지 아니면 거위로 볼 것인지 결정하던 방식에서 유래한 _수신기 작동 특성 (receiver operating characteristic)_을 문자 그대로 의미합니다.) 이는 Green과 Swets에 의해 심리학 분야로 도입되었으며, 그들의 1966년 저서는 오늘날까지도 모두가 인용하는 기초가 되고 있습니다.

이 이론의 핵심적인 움직임은 모든 예/아니오 탐지기(레이더, 목격자, 스팸 필터, 안전 분류기)를 마치 하나처럼 느껴지지만 수학적으로는 독립적인 두 가지 수치로 분리하는 것입니다.

• 민감도 (Sensitivity), d′ (“d-prime”)로 표기: 신호 분포와 노이즈 분포가 얼마나 떨어져 있는지를 나타냅니다. 이는 탐지기의 속성으로, 탐지기가 실제로 얼마나 많은 분리 정보를 가지고 있는지를 의미합니다. 가능한 모든 임계값(cutoff)을 훑으면 ROC 곡선을 그리게 되며, 그 곡선 아래의 면적(AUC)은 하나의 숫자로 표현된 임계값에 의존하지 않는 민감도입니다.

• 판단 기준 (The criterion): 예/아니오를 가르는 선을 어디에 긋느냐 하는 것입니다. “저 사람이 범인이다” 혹은 “이 출력을 차단하라”라고 말하기 위해 얼마나 많은 증거가 필요한지를 결정합니다. 이것은 탐지기의 속성이 아닙니다. 그것은 곡선 위의 한 점을 선택하는 _결정 (choice)_입니다.

그 결과는 냉혹합니다. 판단 기준을 옮기는 것은 고정된 곡선을 따라 이동하는 것일 뿐, 곡선 자체를 움직이지는 못합니다. 긍정(yes)이라고 말하기 전에 더 많은 증거를 요구하면, 거짓 고발(false accusation)도 줄어들겠지만 올바른 검거(correct catch)도 줄어들게 됩니다. 이 교환 비율은 이미 곡선에 의해 결정되어 있습니다. 당신은 탐지기를 개선한 것이 아닙니다. 단지 동일한 정보를 더 신중하게 배분했을 뿐입니다. ROC 분석에 관한 Tom Fawcett의 널리 쓰이는 2006년 입문서는 이 점을 공식적으로 지적합니다. AUC는 순위 측정치 (ranking measure)입니다. 모든 점수를 재조정하거나, 순서를 보존하는 임의의 함수를 통해 압축하더라도 곡선은 움직이지 않습니다. 변하는 것은 주어진 임계값이 위치하는 지점뿐입니다. 오직 더 많은 분리 정보(더 높은 d′, 즉 곡선이 왼쪽 상단으로 밀려 올라가 동시에 두 종류의 오류가 모두 줄어드는 것)만이 더 나은 탐지기를 의미합니다. 그 외의 모든 것은 좌석 배치(seating arrangements)를 바꾸는 것에 불과합니다.

이제 두 개의 노브(knobs)를 손에 쥔 채 1985년의 사례를 다시 읽어보십시오. 순차적 제시(sequential presentation) 조건에서, 정답 식별(correct IDs)과 오식별(false IDs)이 모두 감소했습니다 (57에서 50으로, 42에서 17로). 이 두 수치가 동시에 감소하는 것은 판정 기준의 변화(criterion shift)를 나타내는 특징입니다. 즉, 누군가를 선택하기 전에 더 높은 확신이 필요한 목격자가 된 것입니다. 그리고 진단력 비율(diagnosticity ratio)이 거의 두 배로 증가한 것은 목격자들이 더 명확하게 보았기 때문이 아니라, 분모가 분자보다 더 빠르게 감소했기 때문입니다. 안심할 만한 수치가 상승한 데에는 그 누구의 능력이 향상된 것과는 전혀 상관없는 이유가 있었습니다.

세 가지 개혁, 하나의 교훈

이 분야가 자신들의 개혁안을 올바른 SDT(신호 탐지 이론, Signal Detection Theory) 범주로 분류하는 데는 수십 년이 걸렸으며, 그 분류 과정 자체가 핵심적인 이야기입니다.

첫 번째 개혁: 편향되지 않은 지침(unbiased instructions). 라인업(lineup)을 실시하기 전, 목격자에게 범인이 "있을 수도 있고 없을 수도 있다"라고 말해주는 것입니다. 이는 국립사법연구소(National Institute of Justice)가 과학적 근거에 기반한 라인업 절차 중 하나로 나열한 관행입니다. SDT의 관점에서 읽어보면, 이것은 정전(canon)에서 가장 순수한 형태의 기준 이동(criterion move)입니다. 이 경고는 '선택하지 않을 권리'를 부여하며, 목격자들은 더 보수적으로 변하고, 오식별(false IDs)은 감소합니다. 목격자의 기저 기억(범인과 낯선 사람을 구별하는 능력)에 대해서는 그 어떤 것도 변하지 않았습니다. 이것은 좋은 정책이며, 동시에 정확도의 향상은 아닙니다. 이 두 가지 생각을 동시에 유지하는 것이 이 학문의 핵심입니다.

두 번째 개혁: 순차적 라인업 (sequential lineup), 즉 가장 큰 변화이자 1985년의 결과물이며 법무부(DOJ)의 권고 사항입니다. 2012년, 두 개의 독립적인 연구가 마침내 이를 올바른 축(axis) 위에서 측정해냈습니다. Palmer와 Brewer는 22개의 순차적 대 동시(sequential-versus-simultaneous) 실험을 대상으로 복합 신호 탐지 (compound signal-detection) 재분석을 수행했습니다. 그들의 논문 제목이 곧 연구 결과입니다: “순차적 라인업 제시 (Sequential Lineup Presentation)는 편향이 적은 판정 기준 (Criterion) 설정을 촉진하지만, 식별력 (Discriminability)을 개선하지는 않는다.” 목격자들이 식별을 더 잘하게 된 것이 아니었습니다. 그들은 덜 선택하게 된 것이었습니다. 같은 해, Mickes, Flowe, Wixted는 사후에 보면 당연해 보이는 일을 수행했습니다. 목격자들이 우연히 사용한 단일 작동 지점 (operating point)에서 각 절차를 평가하는 대신, 목격자의 확신도를 훑으며 전체 ROC 곡선을 추적했습니다 (Journal of Experimental Psychology: Applied). 곡선 대 곡선으로 비교했을 때, 동시 라인업은 오히려 진단적으로 더 우수했으며, 이는 개혁의 전제와 정반대되는 결과였습니다. Wixted와 Mickes의 2014년 Psychological Review 모델은 그 메커니즘까지 제공합니다: 얼굴을 나란히 보는 것은 목격자가 모든 가짜 용의자 (fillers)가 공유하는 특징은 배제하고, 식별에 도움이 되는 특징에 가중치를 두게 해준다는 것입니다. (정직을 위해 각주를 달자면: 라인업의 가짜 용의자 구조는 깔끔한 신호 탐지 이론 (SDT) 매핑을 복잡하게 만들며, ROC 접근법은 실제 논란을 불러일으켰습니다. 이것은 살아있는 소수 의견이 존재하는 현대의 지배적인 견해이지, 절대적인 경전은 아닙니다.)

세 번째 개혁은 일반화가 가능합니다: 첫 번째 식별 시의 확신도(confidence)를 기록하십시오. 2017년, Wixted와 Wells는 _Psychological Science in the Public Interest_에 개혁론자들을 포함한 거의 모든 사람을 놀라게 한 연구 결과를 발표했습니다. 즉, "순수한(pristine)" 조건(첫 번째 테스트, 한 명의 용의자가 포함된 공정한 라인업, 이중 맹검(double-blind) 관리자, 피드백이 주어지기 전 즉시 기록된 확신도) 하에서, 높은 확신도를 가진 초기 식별은 놀라울 정도로 정확하며, 낮은 확신도를 가진 식별은 오류를 범하기 쉽다는 것입니다. 여기서 조건성이 매우 중요합니다. 확신도는 피드백이나 반복으로 인해 오염되기 전인, 오직 첫 번째 테스트에서만 유익한 정보를 제공하며, 같은 해 Mickes, Clark, 그리고 Gronlund의 후속 논평은 이 메시지의 한계점을 더욱 명확히 했습니다. 하지만 이것이 어떤 종류의 개혁인지 주목하십시오. 지침(Instructions)과 순차적 제시(sequential presentation)는 탐지기의 행동을 바꾸려고 시도했습니다. 반면 확신도를 기록하는 것은 _측정(measurement)_을 바꾸는 것입니다. 단계적인 확신도 판독은 단순히 하나의 명시적인 yes/no 지점만을 바라보는 대신, 전체 ROC 곡선을 추적할 수 있게 해줍니다. 가장 지속적인 성과를 낸 개혁은 결코 조절 노브(knob)를 돌리는 방식이 아니었습니다. 그것은 바로 _탐지기를 단일 지점에서만 평가하는 것을 멈추는 것_이었습니다.

이것은 사법 체계가 수십 년에 걸쳐 치른 대가이자 교훈입니다. 한 분야가 눈에 보이는 오류를 줄였다고 믿으며, 사람들이 단순히 (확신을 가지고) 답변을 덜 하게 될 때 자동으로 개선되는 단일 운영 지점 지표(single-operating-point metric)를 찬양했고, 그 절차를 정책으로 명문화했습니다. 하지만 결국 해결책은 더 나은 절차가 아니라, 곡선을 볼 수 있는 더 나은 측정 방식이었습니다.

매주 배포되는 동일한 오류

만약 당신이 모델을 구축하거나 평가한다면, 이러한 지표를 본 적이 있을 것입니다. "환각(hallucinations) 40% 감소"라거나, "유해한 완성(harmful completions) 2/3 감소", 혹은 "거짓 양성(false positives) 절반 감소"와 같은 식입니다. 그리고 모델은 더 나아진 것처럼 느껴집니다.

때로는 실제로 나아지기도 합니다. 하지만 많은 경우, 이는 다시 한번 순차적 라인업(sequential lineup)의 사례와 같습니다. 즉, 동일한 탐지기인데 단지 더 주저하게 되었을 뿐인 것입니다.

이 매핑은 비유가 아니라 동일한 수학입니다. 유해한 것을 무해한 것으로, 환각(hallucinated)을 근거 있는(grounded) 것으로, 스팸(spam)을 정상 메일(ham)로 분리하는 분류기(classifier)의 능력은 그것의 d′, 즉 ROC 곡선입니다. 거부 임계값(refusal threshold), 신뢰도 컷오프(confidence cutoff), “확신할 때만 답변하라”는 설정은 하나의 기준(criterion)이자 그 곡선 위의 한 점입니다. 이 기준을 높이면 가시적인 오류는 확실히 줄어듭니다. 하지만 그만큼 확실하게 다른 오류가 증가합니다. 무해한 요청이 거부되고, 정답이 보류되며, 재현율(recall)이 조용히 빠져나갑니다. 모델을 건드리지 않고 안전 필터의 오탐률(false-positive rate)을 낮춘다면, 당신은 누군가의 대시보드에서 발견될 '놓친 사례(misses)'를 대가로 치르며 동일한 곡선 위의 다른 지점으로 다시 자리를 옮긴 것뿐입니다. 과잉 거부(over-refusal) 관련 문헌(완벽하게 무해하지만 위험해 보이는 250개의 프롬프트로 구성된 표준 벤치마크인 XSTest가 대표적임)이 존재하는 이유는 바로 “모델을 더 안전하게 만들었다”는 말이 종종 “기준을 이동시켰다”는 의미였으며, 아무도 그 오경보(false alarms)에 대한 비용을 산정하지 않았기 때문입니다.

다음의 세 가지 함정이 뒤따르며, 각 함정은 목격자 식별(eyewitness identification) 사례와 닮아 있습니다:

• 안심을 주는 단일 수치는 혼란스러운 수치입니다. 가공되지 않은 유해 출력률, 단일 임계값 정확도, “오탐 감소” 등은 시스템이 단순히 답변을 덜 하게 될 때 모두 개선됩니다. 이는 진단 비율(diagnosticity ratio)과 정확히 일치합니다. 가장 큰 신뢰를 주는 수치는 주저함(reluctance)과 식별력(discrimination)을 구분하지 못하는 수치입니다.

• 리더보드는 조절 노브(knobs)를 혼동합니다. 동일한 곡선을 가진 두 모델은 하나의 임계값에서 매우 다르게 보일 수 있으며, 단순히 더 많이 기권(abstain)하는 모델이 유해한 것과 무해한 것을 구분하는 능력이 조금도 더 나아지지 않고도 안전 리더보드 상위권을 차지할 수 있습니다. 단일 작동 지점(operating point)에서의 순위 매기기는 때때로 식별력이 더 뛰어난 모델이 아니라, 더 소심한 모델에게 왕관을 씌워줍니다.

• 그리고 해결책 또한 이식되어야 합니다. 첫 식별 시 신뢰도(confidence-at-first-ID) 개혁을 번역하자면 다음과 같습니다: 모델이 보정된 신뢰도(calibrated confidence)를 출력하게 만들고, 축복받은 단 하나의 컷오프(cutoff) 대신 모델이 그리는 곡선 위에서(또는 최소한 두 개의 작동 지점에서) 평가하십시오.

단 하나의 점(dot)으로 등급을 매기는 시스템은 당신에게 단 하나의 숫자와 그것을 오독할 수 있는 자유를 줄 뿐이지만, 곡선(curve)을 기반으로 등급을 매기는 시스템은 "정확도 (accuracy)"라는 주장 속에 기준(criterion)의 이동을 숨길 수 없습니다.

한 가지 주의할 점은, 진동이 과하게 흔들리지 않도록 하는 것입니다. AUC가 만능 지표(god-metric)는 아닙니다. 데이터가 심하게 불균형할 경우(그리고 희귀하고 해로운 사건에 대한 안전 데이터는 정확히 그러합니다), AUC는 수치를 부풀릴 수 있으며, 테스트 분포는 실제 트래픽과 유사해야 합니다. 계명은 "AUC를 숭배하라"가 아닙니다. 그것은 _곡선 위의 한 점이 아니라, 곡선 자체를 측정하라_는 것입니다.

두 가지 질문의 감사 (The two-question audit)

이 에세이를 통해 가져갈 도구는 다음과 같습니다. 누군가(벤더, 논문, 당신의 팀, 혹은 자기 자신)가 탐지기가 "개선되었다"고 주장할 때, 다음 두 가지 질문을 순서대로 던지십시오.

질문 1: 기준(criterion)이 이동했는가? 답변율이 변했는가, 거부(refusal)가 늘었는가, 식별(ID)이 줄었는가, 혹은 더 엄격한 컷오프(cutoff)를 적용했는가? 만약 그렇다면, 두 가지 오류 유형이 반대 방향으로 움직였을 것으로 예상하십시오. 즉, 오경보(false alarms)는 줄고 미탐(misses)은 늘었거나, 그 반대여야 합니다. 그것은 기준의 이동(criterion shift)입니다. 그것은 매우 훌륭한 정책일 수 있습니다(블랙스톤의 "무고한 한 명을 고통받게 하느니 열 명의 유죄를 놓아주는 것이 낫다"는 명시된 도덕적 이유로 공개적으로 선택된 하나의 기준입니다). 하지만 그것은 _어떤 실수를 선호할지에 대한 선택_이지, 개선이 아니며, 선택의 언어로 보고되어야 합니다.

질문 2: d′가 이동했는가? 고정된 운영 비용, 동일한 거부율, 동일한 검토 예산, 동일한 답변율 하에서 두 가지 오류가 모두 감소했는가? ROC 곡선이 상승했는가? 그것만이, 오직 그것만이 더 나은 탐지기입니다. 그것은 더 나은 정보, 즉 더 나은 특징(features), 더 나은 학습 데이터(training data), 더 나은 근거(grounding), 혹은 독립적인 두 번째 신호로부터 오는 것이지, 결코 조절 노브(knob)에서 오는 것이 아닙니다.

대부분의 평가 연극(eval theater)을 단 한 문장으로 해체하는 경험 법칙은 다음과 같습니다: 단일 작동 지점(operating point)에서의 단일 수치는 질문 1과 질문 2를 구분할 수 없습니다. 만약 주장이 하나의 점(하나의 정확도, 하나의 유해율, 하나의 허위 양성률(false-positive percentage))으로 제시된다면, 곡선(curve)이 그렇지 않음을 증명하기 전까지 그것은 기준(criterion)에 불과한 이야기입니다. 곡선을 요구하거나, 두 개의 작동 지점, 혹은 신뢰 분포(confidence distribution)를 요구하십시오. 만약 이 중 어느 것도 존재하지 않는다면, 가능한 정직한 문장은 "모델이 더 낫다"가 아닙니다. 그것은 "우리가 더 보수적인 작동 지점을 선택했다"입니다. 이는 매우 존중받을 만한 문장이자, 진실이라는 추가적인 미덕을 갖춘 문장입니다.