대형 건강 보험사에서 혜택 항소 전문가(benefits appeals specialists)를 위해 전체 서면 결정문을 작성하는 AI 기능을 추가하려 했습니다. 이 기술은 명시된 대로 작동했습니다. 하지만 전문가들은 이를 사용하기를 거부했고, 계속 사용하는 사람들은 아예 무시하는 사람들보다 각 케이스에 더 많은 시간을 소요하게 되었습니다.
전문가들과의 짧은 평가를 통해 문제가 빠르게 드러났습니다. AI가 작성한 결정문을 주의 깊게 읽고 서명하는 데 걸리는 시간은 직접 작성하는 시간과 비슷했으며, 전문가들은 자신이 절대 실수하지 않을 부분까지 오류를 확인해야 했습니다. 이 기능은 이미 숙달된 작업에 추가적인 업무량을 더했습니다.
범위 재설정(Rescoping)을 통해 문제가 해결되었습니다. 두 번째 버전에서는 각 항소와 관련된 정책 조항 및 이전 결정을 제시하고, 실제 작성은 전문가에게 맡겼습니다. 검색 단계가 사라지고 검토 시간이 단축되었으며, 전문성이 필요한 작업 부분은 그대로 유지되었습니다.
두 버전의 기술 자체는 동일하며, 차이점은 AI가 과제의 어느 부분을 처리하느냐에 있습니다.
손익분기점(The Break-even Line) 찾기
모든 인터페이스 변경은 사용자에게 무언가를 비용으로 요구합니다. 사용자는 도구가 어떻게 작동하는지에 대한 자신의 그림을 재구축해야 하고, 지금 어디에 있는지 학습해야 하며, AI가 제공하는 것을 얼마나 신뢰할지 결정해야 합니다. Nelson Cowan의 작업 기억 연구 검토(2001)에 따르면 그 한계는 한 번에 기억할 수 있는 약 네 가지 항목으로 제시되었습니다. 이 세 가지 작업 모두 동일한 적은 공급원을 활용합니다.
기업용 소프트웨어 환경에서의 AI 기능은 단순히 재설계된 메뉴보다 사용자에게 더 많은 것을 요구합니다. 사용자가 종합(synthesis) 작업을 AI에 맡기면, 사용자는 검토자(checker)가 됩니다. 추천까지 제공하면, 업무는 최종 승인 서명으로 축소됩니다. 이러한 변화는 사용자 주의력을 소모하며, 훈련이 직장 내 지위와 연결된 사람들에게는 둘 다 강등처럼 느껴질 수 있습니다. 예를 들어, Sophia Ackerhans(2025)와 동료들의 한 연구에 따르면, AI 지원 결정에 서명하도록 요청받은 의사들은 자신의 전문적 정체성에 더 심각한 위협을 느낀다고 보고했으며, AI 추론 과정에 대한 설명은 신뢰와 이러한 위협감을 동시에 높였습니다.
AI 기능이 자리를 얻는 것은 한 사용자가 하나의 작업을 수행할 때, 그 기능이 반환하는 것이 사용자에게 조정하는 데 드는 비용을 능가할 때입니다.
이를 **손익분기점(break-even line)**이라고 부를 수 있습니다. 사용자에게 돌아오는 이득은 세 가지 형태를 가집니다:
- 기능이 제거하는 노력(Effort),
- 사람이 놓쳤을 오류를 포착하는 것(Errors),
- 동일한 작업을 수행하는 사람들 간의 일관성(Consistency).
예를 들어, AI 기반 사기 검증 도구는 '오류 포착' 형태의 이점을 보여줍니다. 분석가는 자신이 스스로 제기하지 않았을 플래그를 검토하게 되는데, 이는 주의력을 소모하지만, 그로 인해 얻는 포착률이 이를 상쇄합니다. 따라서 이 기능은 손익분기점보다 높은 위치에 놓입니다.
네 가지 질문은 디자인 작업이 시작되기 전에 팀이 손익분기점을 찾는 데 도움을 줄 수 있습니다. 각 질문은 간결한(brief) 것이 작용할 수 있는 하나의 디자인 조건을 만들어냅니다.
이러한 질문들이 구축 결정 자체를 대체하는 것은 아닙니다. 자금 지원, 전략, 그리고 기존의 약속들 모두가 이 결정에 영향을 미치며, 네 가지 질문만으로는 그 어떤 것도 파악할 수 없습니다.
네 가지 질문을 모두 함께 검토해야 합니다. 단 하나의 질문만으로는 문제를 해결할 수 없기 때문입니다. 이 기능이 아직 제안 단계일 때, 즉 누군가 설계에 몇 주씩 시간을 쏟아붓기 전에 진행하세요. 또한 직업적으로 해당 작업을 수행하는 사람(예: 대출 담당자, 분석가 또는 복리후생 전문가)을 최소 한 명 확보해야 합니다. 그 사람이 로드맵 회의에 참석할 필요는 없으며, 짧은 대화만으로도 실제 정신적 노력이 어디에 있는지, 그리고 이 기능이 도움이 될지 아니면 추가적인 작업을 유발할지 알 수 있습니다.
질문 1: 이 기능이 사용자에게 필요한 전체 노력을 줄여주는가?
사용자가 이 작업을 수행하면서 요구받는 모든 것(생각, 클릭, 그리고 AI가 개입한 후 확인해야 할 사항)을 계산하세요. 클릭 수가 적다는 사실만으로는 아무것도 증명하지 못합니다. 기능이 클릭 수를 줄일지라도 여전히 사용자에게 더 많은 노력을 요구할 수 있기 때문입니다. 비용이 증가하더라도 기록해 두세요. 왜냐하면 _질문 2_에서 그 비용을 상쇄할 만한 이점을 발견할 수도 있기 때문입니다.
대출 담당자가 40개의 금융 공개 자료를 읽고 대출 정책과 상충되는 세 가지 항목을 찾는 것은 많은 사고력을 요구하는 일입니다. 이러한 충돌 지점을 찾아내는 AI는 그 요구 자체를 직접적으로 줄여줍니다. 이를 추적 시스템에 대출 번호를 입력하는 것과 비교해 보세요. 이 작업은 몇 초의 시간과 거의 생각이 필요하지 않습니다. 이 필드를 미리 채우면(Pre-filling) 비용을 제거하는 것이 아니라 위치만 옮기는 것입니다. 왜냐하면 담당자는 이제 기계가 입력한 내용을 확인해야 하기 때문입니다. 통념적으로는 반복적이고 단조로운 작업을 자동화해야 한다고 말하지만, 미리 채워진 필드는 그 조언이 잘못 적용되는 지점입니다. 이 예시에서:
- AI가 필드를 채우면, 사용자가 그것을 확인하는 책임이 생깁니다.
- 원래 작업은 짧은 키 입력 순서와 지속적인 주의 집중을 요구하지 않습니다.
- 자동화는 낮은 노력을 요하는 행동을 높은 주의를 요하는 행동으로 교환합니다.
자동화할 가치가 있는 작업은 전후의 총 노력을 비교하여 찾을 수 있습니다. 후반부에서 사용자가 물려받게 되는 확인 과정을 계산하세요.
사용자가 누구인지가 어떤 작업인지를 아는 것만큼 중요합니다. 하나의 기능은 주니어 분석가에게는 명확한 가이드라인을 제시할 수 있지만, 시니어 분석가에게는 미흡하게 느껴질 수 있습니다. 주니어 분석가에게 AI 초안으로 작성된 리스크 요약을 건네주면, 그들은 스스로 만들어낼 패턴 라이브러리가 부족하여 시작점(starting point)을 얻게 됩니다. 하지만 시니어 분석가는 그 동일한 요약을 이미 머릿속에 형성된 분석과 비교하며 4분을 보내고 아무것도 배우지 못합니다.
이러한 발견은 누구에게 배포할지 알려줍니다. 해당 기능을 사용하게 될 그룹에 범위를 한정해야 합니다.
설계 조건: 추가 기능의 대상이 되는 사용자 세그먼트(user segment)를 명명하고, 다른 세그먼트를 위한 이탈 경로(exit)를 설계하십시오.
질문 2: 이것이 사용자가 현재 작업을 수행하는 방식보다 나은가요?
AI 접근 방식을 스프레드시트나 스스로 만든 임시방편을 포함하여 사용자의 현재 방법과 비교해야 합니다. 진정한 모호성(ambiguity)은 AI가 옵션을 탐색하거나, 시작점을 생성하거나, 수작업으로는 포착하기 너무 많은 패턴을 찾을 때 앞서 나가는 이유 중 하나입니다. 규모(scale), 속도, 그리고 동일한 작업을 수행하는 그룹 전체에 걸친 일관성은 세 가지 추가적인 이점입니다. 네 번째는 현재 방법이 신뢰성 있게 놓치는 것을 포착하는 것인데, 이것이 사기 방지 도구(fraud screening tool)가 자리를 차지하게 된 방식입니다. 사용자가 이미 숙련된 경로를 통해 알려진 답에 도달할 수 있다면 그 장점은 사라집니다.
예를 들어, 승계 계획 도구를 구축하는 HR 팀의 경우, 하나의 제품 내에서 양방향으로 작동하는 답변을 찾습니다. AI를 사용하여 아무도 검색하려 생각하지 못했을 기술 조합을 가진 내부 후보자를 찾아내는 것이 모호성과 규모 면에서 모두 이점을 얻습니다. 왜냐하면 단일한 정답이 존재하지 않으며, 그 검색 공간에 대한 수동 검토는 몇 주가 걸릴 것이기 때문입니다. 하지만 누군가가 후보자를 선택한 후 알림 이메일을 초안 작성하는 것은 이미 존재하는 방식에 패배합니다. 형식은 익숙하고, 작문은 2분밖에 걸리지 않으며, 발송하는 사람은 어조(tone)에 대해 확고한 의견을 가지고 있기 때문입니다. 후보자 검색이 추가 기능을 얻습니다. 이메일 초안은 별도의 상호작용을 작업 과정에 덧붙이는 것입니다.
입력의 성격과 출력 형태는 별개의 결정입니다. 어떤 작업은 진정한 모호성을 가질 수 있지만, 여전히 대화형 결과 대신 구조화된 시각적 결과를 요구할 수 있습니다. 출력 측면에서는 모달리티 평가 (modality evaluation)와 이 감사를 함께 수행하세요.
설계 조건: 사용자의 현재 방식이 이미 빠르고 신뢰성 있게 답에 도달하는 단계에서는 AI를 제거하세요.
질문 3: 사용자가 오류를 포착할 수 있는가? (Can The User Catch The Errors?)
모든 AI 시스템은 실수를 합니다. 중요한 질문은 사용자가 그 실수를 알아차릴지 여부입니다. 오류가 얼마나 눈에 띄는지부터 시작하세요. 그런 다음, 아무도 포착하지 못했을 때의 비용과 사용자가 여전히 그것을 포착할 기술을 가지고 있는지 저울질해야 합니다. _질문 1_은 검증하는 데 드는 비용을 묻습니다. 이 질문은 아예 검증이 가능한지 여부를 묻습니다.
오류의 가시성은 엄청나게 다양하며, 제품 팀은 이를 잘못 추정하는 경향이 있습니다. 예를 들어, 문을 닫는 날에 박물관을 추천하는 AI 여행 계획기는 출력에서 아무것도 이상해 보이지 않기 때문에 눈에 보이지 않는 오류를 생성합니다. 여행자는 도쿄의 잠긴 문 밖에 서 있다가 그것을 알게 됩니다. 연결 항공편이 도착하기 전에 출발하는 비행기를 제안하는 경우와 비교해 보세요. 그 모순은 화면 바로 위에 놓여 있습니다.
자동화 편향(Automation bias)은 눈에 보이지 않는 경우를 더욱 악화시킵니다. Raja Parasuraman과 Dietrich Manzey (2010)는 항공, 의학 및 공정 제어 전반에 걸쳐 사람들이 그 출력이 틀렸을 때조차 자동화된 출력에 의존한다는 것을 보여주는 수십 년간의 인간 요소 연구를 검토했습니다. 신뢰는 빠르게 쌓이며, 거의 의식적인 결정으로 이루어지지 않습니다. 일단 그렇게 되면 사용자들은 실수를 포착할 수 있는 면밀한 검토(scrutiny)를 멈추게 됩니다.“,]
디자인 작업이 시작되기 전에 이 기능이 잘못될 수 있는 방식인 '오류 표면(error surface)'을 매핑하세요. 가장 가능성 높은 세 가지 오류 유형을 나열합니다. 각 유형에 대해 사용자에게 보이는 정도(visibility)와 문제가 발생했을 때의 결과 영향도(consequence)를 평가하십시오. 낮은 가시성과 높은 결과 영향도의 조합은 디자인 요구사항이 됩니다.
사용자에게 출력물이 어디서 왔고 시스템이 어떻게 생성했는지 보여주세요. 이것이 바로 **출처(provenance)**이며, 신뢰가 적절한 수준에 자리 잡게 하는 요소입니다. 출처, 그 뒤의 데이터, 그리고 언제 가져왔는지를 볼 수 있는 사람들은 오류를 더 자주 포착합니다. 여행자에게 식당 영업시간이 3월에 캐시된 페이지에서 왔다고 알려주면 무엇을 확인해야 할지 알게 됩니다. 출처가 첨부되지 않은 자신감 넘치는 문단은 그들을 추측하게 만듭니다.
디자인 조건: 높은 결과 영향도와 낮은 가시성을 가진 오류 표면을 가진 추가 기능은 반드시 출처 표시(provenance display) 및 검증 프롬프트를 갖추고 배포되어야 하며, 그렇지 않으면 배포되어서는 안 됩니다.
질문 4: 이것을 사용한 지 1년 후에도 사용자가 AI가 틀렸다는 것을 말할 수 있을까요?
루틴 작업을 맡기는 것은 AI를 추가하는 실질적인 이점입니다. 아무도 전문가가 인용 형식을 지정하는 능력이나 분석가가 열의 합계를 손으로 계산하는 능력을 보호할 필요는 없으며, 기술이 흡수한 기술을 보존하려 주장하는 것은 모두의 시간을 낭비합니다.
하지만 기계의 실수를 포착하는 판단력은 대체에서 제외됩니다. 그 판단력이 다른 모든 위임 작업을 안전하게 만들며, 사용하지 않으면 다른 어떤 기술과 마찬가지로 저하됩니다.
방사선학 연구는 제안(suggestion)이 판독가(reader)의 자체 판단을 얼마나 빠르게 무효화할 수 있는지 보여줍니다. 2023년 실험에서 Thomas Dratsch와 동료들은 27명의 방사선과 의사들에게 유방 촬영술 사진(mammograms)을 읽게 했는데, 이때 그들이 받은 정보는 AI 시스템이라고 알려진 것(오직 실험만을 위해 만들어진 시뮬레이션)이었습니다. 이 방사선과 의사들은 제안된 카테고리가 항상 정확했던 10장의 이미지로 구성된 교육 세트를 거친 후, 그중 12장에 잘못된 제안을 심은 40장의 유방 촬영술 사진을 추가로 처리했습니다. 그 결과는 부정확한 AI 제안이 모든 경험 수준에서 진단 정확도를 어떻게 손상시키는지 보여주었습니다. 평균 경력이 15년인 가장 숙련된 판독가들은 제안이 맞았을 때 82.3%의 확률로 올바른 카테고리를 할당했지만, 잘못되었을 때는 45.5%에 그쳤습니다. 반면, 경험이 가장 적은 그룹은 79.7%에서 19.8%로 떨어졌습니다. 경험이 이러한 영향을 완화했을 뿐, 막지는 못했습니다. 같은 시스템에 의존하여 판단을 미루는 것이 일 년 동안 지속되면, 대체된 판단력이 사용되지 않은 채 남아 있는 판독가는 이 방사선과 의사들이 시작했던 상태보다 더 취약한 위치에 놓이게 됩니다.
_질문 3(Question 3)_은 현재의 사용자에게 초점을 맞춥니다. 동일한 테스트를 12개월 동안 확장하면 _질문 4(Question 4)_에 도달합니다. 첫 번째 질문만 답하고 두 번째 질문을 건너뛴 팀들은 발생한 실패 사례들을 모델의 품질 문제로 간주하지만, 실제 원인은 일상적인 사용에서 제거된 인간의 판단력입니다.
이 사용자가 만약 해당 기능이 내일 사라진다면 12개월 후에도 출력물의 품질을 스스로 판단할 수 있을지 물어보십시오. 답이 '아니요'라면, 설계는 검증 기술(verification skill)을 계속 사용하는 메커니즘을 갖추어야 합니다. 주기적인 블라인드 리뷰가 효과적이며 비용도 적게 듭니다. 이때 사용자는 AI가 무엇을 생성했는지 보기 전에 스스로 판단을 내리게 됩니다. 일부 케이스를 AI 지원에서 순환적으로 제외하는 것(Rotating a share of cases off AI assistance)도 비슷한 역할을 하며, 기계 출력물과 인간이 만든 버전을 매주 비교하는 것도 마찬가지입니다.
설계 조건: 검증 기술을 계속 사용하는 메커니즘의 이름을 명시하고, 그것을 워크플로우 자체에 구축해야 합니다. 교육 자료 슬라이드만으로는 충분하지 않습니다.
결정 매트릭스(A decision Matrix)
아래 표 1은 네 가지 질문, 각 방향을 가리키는 신호들, 그리고 각각이 만들어내는 조건을 정리합니다.
