AI 자동화 견적이 아마도 틀렸을 수 있는 이유

지난달 한 클라이언트가 저에게 다음과 같은 한 줄짜리 브리프를 보냈습니다.

"인보이스 처리, CRM 업데이트, 주간 보고서 작성을 AI 에이전트가 맡아줄 수 있을까요? 예산은 적어요."

저는 25년 넘게 소프트웨어를 작성해왔기 때문에 그 문장을 압니다. 그것은 주말 스크립트로 끝날 프로젝트일 수도 있고, 6개월짜리 통합 프로젝트일 수도 있는 시작점이며, 예산만으로는 어느 쪽인지 알 수 없습니다.

까다로운 점은 두 답변 모두 부분적으로 사실이라는 것입니다. AI는 실제로 이 작업의 일부를 극적으로 빠르게 만들었습니다. 하지만 다른 부분에는 거의 영향을 주지 못했습니다. 그리고 제가 보는 대부분의 견적들은 전체 프로젝트를 하나의 덩어리로 보고 하나의 할인율을 적용합니다.

그래서 저는 개발자들이 반복하는 것에 지칠 때 하는 일을 했습니다. 즉, 설명을 도구로 작성한 것입니다. 이것은 AI 비즈니스 프로세스 자동화 예산 계산기라고 불리며, 무료이고, 브라우저에서 완전히 실행되며, 의도적으로 약간 엉뚱합니다.

이 게시물은 '모델이 생각하는 방식' 버전입니다. 만약 클라이언트에게 작업 견적을 내거나, 혹은 견적을 받는 입장이라면, 저는 특정 숫자보다 이 구조가 더 유용하다고 생각합니다.

핵심 아이디어: 작업을 두 개의 무더기로 분리하기

자동화 프로젝트를 솔직하게 살펴보면, 시간이 두 가지 무더기로 나뉩니다.

무더기 1: 직접 타이핑하는 것들. 접착 코드(Glue code), 알림(notifications), 대시보드(dashboards), 기본 틀(boilerplate) 작업입니다. AI 어시스턴트는 이 부분에서 매우 뛰어납니다. 계산기의 모델에서는 여기에 25~35% 할인이 적용됩니다.

무더기 2: 협상하고 검증하는 것들. 프로세스가 실제로 어떻게 수행되는지 이해하는 것(위키에 적힌 방식이 아닌), 오래된 시스템을 연결하는 것, 개인 정보 보호(privacy), 보안(security) 등이 해당합니다. 여기서 모델은 단지 8~15%만 할인율을 적용하는데, 그 이유는 이 작업들이 대화(conversations), 접근 권한(access rights), 그리고 실제 사례를 통한 테스트이기 때문입니다. 자동 완성할 부분이 없습니다.

그 후에는 테스트, QA(품질 보증), 프로젝트 관리 등을 위해 일괄적으로 +15%가 추가됩니다. 네, 일괄적입니다. 아니요, 이것은 협상으로 없앨 수 없습니다. (음, 물론 가능합니다. 나중에 이자를 붙여서 지불할 뿐입니다.)

만약 당신의 계획이 모든 것에 'AI가 속도를 40% 높인다'라는 승수(multiplier)를 적용한다면, 그것은 쌓인 작업량에 또 다른 작업을 곱하는 것과 같습니다. 보통 예상치 못한 청구서가 바로 여기서 나옵니다.

가장 중요한 슬라이더

계산기는 이 프로세스가 몇 개의 시스템을 건드리는지 묻습니다. 제 경험상 이것이 자동화의 유형보다 훨씬 더 예측력이 높은 단 하나의 입력값입니다.

시스템 하나가 추가될 때마다 다음 요소들이 추가됩니다:

• 접근 권한 설정(Access to arrange), 그리고 이를 승인해야 하는 사람
• 각 측면에서 사용하는 어떤 형식 간의 데이터 매핑(Data mapping)
• 준수해야 할 제한 사항: 속도 제한(rate limits), 할당량(quotas), 유지보수 시간대(maintenance windows)
• 실패 처리(Failure handling): 다른 쪽 시스템이 시간 초과(times out)될 때 새벽 3시에 무슨 일이 발생하는가

그리고 특별한 범주가 있습니다: 적절한 API가 없는 시스템. 오래된 회계 및 ERP 소프트웨어의 상당 부분이 여기에 속합니다. 만약 당신의 프로세스가 이러한 시스템을 건드린다면, 그 숫자가 어떻게 반응할지 예상해야 합니다. 화면 스크래핑(screen-scraped)으로 자동화했던 ERP를 다뤄본 사람이라면 이 이유를 알 것입니다.

97% 문제

이것은 비용의 문제가 아니라 설계의 문제입니다.

정확도가 97%인 모델은 100번 중 3번 틀립니다. 데모에서는 눈에 보이지 않습니다. 하지만 비즈니스 프로세스에서 그 세 번 중 하나는 결제나 계약일 수 있습니다.

이것이 계산기의 '구현되어야 할 것' 목록에 자동화 자체뿐만 아니라 파일럿(pilot) 및 승인 단계가 포함되는 이유입니다. 제가 신뢰하는 패턴은 다음과 같습니다:

• 자동화를 수동 프로세스와 병행하여 실행한다.
• 사람이 위험한 사례를 승인하도록 한다.
• 실적 기록이 쌓일 때만 단독으로 수행할 범위를 확장한다.

이는 기능 플래그(feature flag) 뒤에 배포하면서 사람이 차이점(diffs)을 검토하는 것과 같은 논리입니다. 지루하지만, 효과가 있습니다.

'AI만으로 할 수 있을까?' 퀴즈

여기에 여섯 가지 질문으로 이루어진 현실 점검도 있습니다. 이 퀴즈는 당신의 경험을 점수화하고 'DIY(Do It Yourself)' 추정치에 기술 수준을 적용합니다: 아는 것이 적을수록 같은 작업에 더 오랜 시간이 걸리며 (전문가의 AI 지원 시간 대비 최대 4배), 운영 환경에서 무언가 고장 날 확률이 높아집니다.

이것이 무엇인지 명확히 하고 싶습니다. 예측이 아니라 수학을 포함한 농담입니다. 저는 사람들이 AI를 이용해 자체 자동화를 구축하는 것을 전적으로 지지하며, 많은 사람이 이를 잘 해낼 것입니다. 이 퀴즈의 요점은 타이핑 비용은 저렴해졌지만, 무엇을 테스트해야 하는지, 그리고 무엇이 잘못될 수 있는지 아는 것은 그렇지 않다는 것입니다.

두 개의 숫자로 시도하기

계산기를 열고 프로세스를 선택한 다음 비교해 보세요:

€500: 가장 낮은 요율(시간당 €25)로 계산하면 약 20시간의 작업량입니다.
€15,000: 시간당 €60으로 계산하면 약 250시간입니다.

각 예산이 실제로 무엇을 구매하는지 오른쪽에서 확인해 보세요. 그런 다음 시간당 요율과 시스템 개수를 변경하고 어떤 입력값이 상황을 가장 많이 변화시키는지 살펴보세요. (스포일러: 보통은 시스템입니다.)

이는 견적이 아닌 대략적인 모델입니다. 실제 비용은 귀하의 시스템과 예외 사항에 따라 달라집니다. 실제 숫자를 원하시면 프로세스에 대해 알려주세요.

다른 것을 계획 중이라면 다음 형제 계산기도 있습니다: 웹사이트, SaaS, 웹 자동화.

여러분의 차례입니다

이러한 것들을 출시해 본 분들께 현실적인 검토를 받고 싶습니다:

글루 코드(glue code) 비용을 25~35% 절감하는 것이 적절하다고 보시나요, 아니면 더 많은 것을 보고 계신가요?
자동화에 연결해야 했던 가장 까다로운 레거시 시스템은 무엇이었나요?
인간의 개입(human in the loop)은 어디에 배치하시나요?

댓글에 답변을 남겨주세요. 저는 모든 댓글을 읽으며, 최고의 의견들은 종종 모델 자체를 변화시키는 경향이 있습니다.