모델의 정확도가 더 이상 가장 중요한 지표가 아닌 이유

컴퓨터 비전 (Computer Vision) 모델을 구축하거나 생체 인식 (Biometric) API를 배포하고 있다면, 아마도 정밀도-재현율 곡선 (Precision-Recall curves)에 사활을 걸고 계실 것입니다. 우리는 오인식률 (False Acceptance Rates, FAR)을 최소화하고 F1 스코어 (F1 scores)를 극대화하는 데 집착합니다. 하지만 영국의 최신 규제 신호에 따르면, 여러분의 SOTA (State-of-the-Art) 정확도는 사실 시스템에서 가장 흥미롭지 않은 요소입니다.

규제 당국은 AI 위험에 대한 결과 기반 평가 (outcome-based assessment)로 이동하고 있습니다. 개발자들에게 이는 코드의 안전성이 가중치 (weights)나 학습 데이터 (training data)에 의해 결정되는 것이 아니라, 모델의 출력값을 둘러싼 UI/UX 및 의사 결정 로직에 의해 결정된다는 것을 의미합니다.

알고리즘에서 컨텍스트(Context)로의 전환

여기에는 엄청난 기술적 함의가 있습니다. 수사관을 돕기 위해 사용하는 것과 동일한 유클리드 거리 분석 (Euclidean distance analysis)을 사용하는 얼굴 비교 시스템은, 코드 한 줄 바꾸지 않고도 "저위험 (low risk)" 또는 "고위험 (high risk)"으로 분류될 수 있습니다. 이 분류는 결과가 인간에게 정보를 제공하는지, 아니면 자동화된 결과를 유발하는지에 따라 전적으로 달라집니다.

만약 귀하의 API가 사용자의 계정을 자동으로 잠그는 불리언 (boolean) 값인 isMatch: true를 반환한다면, 귀하는 고위험군 계층에 속하게 됩니다. 반면, 귀하의 시스템이 인간이 검토할 수 있도록 유사도 점수 (similarity score)와 비교 시각화 자료를 반환한다면, 훨씬 더 안전한 규제 영역에 있게 됩니다.

"특별 범주" 데이터로서의 생체 인식

신원 기술 (identity tech) 분야에서 일하는 우리들은 얼굴 기하학 (face geometry)이 단순한 데이터 포인트가 아니라는 점을 인식해야 합니다. 영국의 데이터 (사용 및 액세스) 법 (Data (Use and Access) Act)에 따라, 생체 인식 데이터는 "특별 범주 (special category)" 보호 대상에 해당합니다.

데이터 스키마 (data schemas)를 구축할 때, 얼굴 임베딩 (face embedding)을 표준 해시 (hash)처럼 취급해서는 안 됩니다. 법적으로 이 부동 소수점 (floats) 값들은 고유한 인간의 정체성을 나타냅니다. 이는 귀하의 로깅 (logging), 데이터 보존 정책 (retention policies), 그리고 감사 추적 (audit trails)이 일반적인 CRUD 앱보다 훨씬 더 강력해야 함을 의미합니다.

감사 가능성 및 "검토 가능한 AI"를 위한 구축

개발자로서 우리는 "블랙박스 (black box)" 형태의 생체 인식 도구를 만드는 것을 멈추고, "검토 가능한 AI (Reviewable AI)"를 구축하기 시작해야 합니다. 이것이 업계가 나아가고 있는 방향이며, 우리가 대규모 인식 (mass recognition)보다는 얼굴 비교 (facial comparison)에 그토록 집중하는 이유입니다.

이것이 여러분의 개발 우선순위를 어떻게 바꾸는지에 대한 내용은 다음과 같습니다:

1. 불리언 (Boolean) 값 대신 유사도 점수 (Similarity Scores): 단순히 일치 여부만을 반환하지 마세요. 유클리드 거리 (Euclidean distance)를 반환하세요. 조사관이 정보에 입각한 판단을 내릴 수 있도록 두 얼굴 사이의 수학적 근접성을 보여주어야 합니다.
2. 출처 (Provenance)를 포함한 배치 처리 (Batch Processing): 조사관이 500장의 사진에 대해 배치 비교를 수행하는 경우, 각 이미지가 어디에서 왔으며 일치 여부가 어떻게 계산되었는지에 대한 명확한 기록 (paper trail)이 필요합니다.
3. 법정 대응이 가능한 보고 (Court-Ready Reporting): 조사의 최종 목표는 화면상의 "검출 (hit)"이 아니라, 법적 환경에서 방어할 수 있는 보고서입니다. 이를 위해서는 이미지뿐만 아니라 비교의 기술적 메타데이터 (technical metadata)를 내보내는 보고 모듈을 구축해야 합니다.

왜 맥락 (Context)이 새로운 "정확도 (Accuracy)"인가

우리는 연간 2,000달러에 달하는 엔터프라이즈 도구들로부터 소규모 조사관과 작은 기업들이 소외되고 있다고 느끼는 추세를 목격해 왔습니다. 그들은 종종 기술적 투명성을 제공하지 않고 신뢰할 수 없기로 악명 높은 소비자용 검색 도구에 의존하곤 합니다.

규제 환경은 사실 "기민한 (scrappy)" 개발자들에게는 선물과 같습니다. 이는 유용한 것을 만들기 위해 수십억 달러 규모의 감시 인프라가 필요하지 않다는 점을 상기시켜 줍니다. 우리에게 필요한 것은 인간 조사관이 주도권을 유지할 수 있도록 하는 정확한 유클리드 거리 (Euclidean distance) 분석입니다.

일반 대중을 스캔하는 대신 특정 사례에 대한 1:N 비교를 용이하게 하는 도구를 구축함으로써, 우리는 규제 당국이 요구하는 "인간 참여형 (human-in-the-loop)" 철학에 발맞추게 됩니다.

여러분의 컴퓨터 비전 (CV) 모델이 자동화된 고위험 결정을 내리지 않도록 하기 위해, 현재 어떻게 인간 참여형 (HITL) 워크플로우를 구현하고 계신가요?