이런 것을 누가 승인했는가?

저는 MBA (Technology for Business) 과정을 밟으면서 최종 프로젝트 주제에 대해 계속 생각했습니다. 당시 저는 생체 인식(biometrics) 소프트웨어를 구축하는 회사에서 일하고 있었고, 본능적으로 이 분야를 테마로 선택해야 한다고 생각했습니다. 그것은 실제적이고 제가 실제로 알고 있는 것이었기 때문입니다. 전 CTO가 생체 인식이 어떻게 인공지능(AI)의 업무를 감독하는 데 사용될 수 있는지에 대해 이야기했던 것이 기억납니다.

그로부터 저는 AI가 고위험 시스템에서 '자유롭게' 작동하며 최종 결정을 내려서는 안 된다는 것을 깨닫기 시작했습니다. AI는 비즈니스와 분리된 분석 지점이어야 합니다. 금융 기관과 같은 곳의 큰 결정들은 결정론적 흐름(deterministic flows)을 따른다는 것이 명확해졌습니다. 이러한 흐름은 비즈니스 도메인에서 모델링되고, 잘 정의된 범위 내에서 특정 작업을 실행합니다. 그리고 이 과정 안에서 단순한 머신러닝(machine learning) 모델이든 더 깊은 위험 분석이든 특정한 모델이 트리거되어 결정을 위한 기초가 될 분석을 수행합니다. 그 결정은 결정론적 흐름 내에서 승인 또는 거부와 같은 다른 경로로 이어질 수 있습니다.

이 관점은 데이터 거버넌스(data governance) 수업 중에 저에게 왔고, AI 사용에 있어 거버넌스가 중요한 요소가 될 것이라는 것을 깨닫게 했습니다. 교수님이 조직 내에서 사람들이 수행하는 역할을 정의하는 것에 대해 이야기했던 것이 기억나는데, 그것은 바로 전 CTO의 아이디어로 돌아갔습니다. 즉, 고위험 운영에서의 자동화된 결정 위에 안면 인식(facial recognition)을 검증자(validator)로 추가하는 것이 합리적일 것이라는 생각입니다. 감사(Auditing), 규정 준수(compliance), 데이터 보호는 민감한 데이터를 다루는 누구에게나 실제적인 어려움이며, 이러한 기준들을 관리하는 데 도움이 되는 새로운 종류의 도구에 문을 엽니다. 그렇다면 왜 자율적인 결정이 발생하는 바로 그 지점에 거버넌스를 적용하여, 생체 인식을 사용하여 회사 내부에서 누가 결정을 내릴 수 있고 누가 내릴 수 없는지를 통제하는 방식으로 사용하지 않을까요.

좋습니다만, 비밀번호가 이 문제를 해결하지 않나요? 물론 합니다만, 공유되거나 도난당하거나 해킹되거나 단순히 분실될 수 있습니다. 얼굴은 생리 현상에 본질적으로 연결된 고유한 특성을 가지고 있어 독특하고 양도할 수 없습니다.

구체적인 예를 들어보겠습니다. 신용 분석의 세부 사항까지 다루지는 않겠지만, 간단한 예시로 이해하실 수 있을 겁니다. 마이크가 금융 기관에서 천문학적인 규모의 신용 한도를 요청하거나, 단순히 터무니없이 많은 돈을 이동시키려고 한다고 가정해 봅시다. 이는 위험 분석이 필요한 적신호입니다. 이 요청은 몇 단계로 구분된 워크플로우(workflow)를 거치게 됩니다. 첫 번째는 마이크가 하는 행동이 합법적인지 아니면 사기 의도가 있는지 예측 알고리즘이나 자율 에이전트(autonomous agent) 같은 것이 판단을 내리는 것입니다. 이 분석은 해당 작업에 점수를 할당하고, 그 점수는 게이트웨이(gateway)에서 읽혀서 생체 인식 감사(biometric audit)를 거쳐야 할지 여부를 결정합니다. 모든 작업을 실제 사람이 검토할 수는 없습니다. 너무 비용이 많이 들기 때문입니다. 그래서 소액 거래는 사람의 승인 단계를 건너뛸 수 있습니다. 그리고 제가 말씀드리고 싶은 요점이 바로 이것입니다. 거버넌스(governance)를 보장하는 생체 인식 계층은 단순히

일부 사람들은 생체 인식 기술이 인구 통계학적 편향(demographic bias)을 내포하고 있다는 이유로 이 기술을 해결책으로 선택하는 것에 동의하지 않을 수 있습니다. 이것은 주요 라이브니스 벤더들이 직면한 실제 문제이며, 바로 이것이 비즈니스의 큰 장벽 중 하나이기 때문에 그 위험을 정확히 완화해야 합니다. 점점 더 많은 모델들이 이러한 종류의 불공정성을 저지르지 않도록 훈련되고 있으며, NIST와 같은 기관들은 FRTE 프로그램(Face Recognition Technology Evaluation)을 통해 이 기준을 엄격하게 평가하고 있습니다.

마지막으로 말씀드리자면, AI의 작업을 감독하는 것에 대한 우려는 지금부터 심어야 할 씨앗입니다. 이 혁명은 비즈니스에 실제적인 영향을 미치고 있으며, 정부들이 주시하고 있습니다. 따라서 AI를 사용하는 기업들은 자동화된 프로세스에 대한 감사 가능성(auditability)을 보장하는 통제를 갖추도록 요구받는 것이 그리 오래 걸리지 않을 것입니다. 이것에 대해 너무 늦게 생각하면 준비되지 않은 모든 사람의 지갑에 타격을 입히게 될 것입니다.