AI 에이전트의 성능은 당신이 지정한 프로세스의 수준에 달려 있습니다

AI 에이전트의 성능이 기대에 미치지 못할 때, 가장 먼저 드는 생각은 모델을 탓하는 것입니다. 더 똑똑한 모델을 선택하거나, 프롬프트 (Prompt)를 수정하거나, 다음 릴리스를 기다리는 식이죠. 하지만 대부분의 경우 이는 증상만을 치료하는 것에 불과합니다. 진짜 문제는 에이전트 아래에 자리 잡고 있습니다. 바로 당신이 에이전트에게 지정해 준 프로세스가 자동화할 수 있을 만큼 충분히 깨끗하지 않았다는 사실입니다.

Shanti Infosoft에서 우리는 에이전트를 만드는 일을 전문으로 하며, 에이전트의 성공 여부를 결정짓는 가장 큰 예측 변수는 우리가 어떤 모델을 사용하는가가 아닙니다. 그것은 바로 프로세스의 품질과 그 프로세스에 공급되는 데이터의 품질입니다. 에이전트는 망가진 프로세스를 고쳐주지 않습니다. 망가진 프로세스를 더 빠르게 실행할 뿐이며, 이제 그 혼란에는 가속도가 붙게 됩니다. 이 부분을 제대로 처리하면 평범한 모델도 훌륭하게 작동합니다. 반대로 잘못 처리하면 시장에서 가장 좋은 모델이라 할지라도 당신을 실망시킬 것입니다.

에이전트는 프로세스를 증폭시킵니다, 좋든 나쁘든

에이전트를 매우 빠르고 매우 문자 그대로만 실행하는, 명확한 질문을 던지도록 설계되지 않는 한 질문을 절대 하지 않는 신입 사원이라고 생각해보세요. 에이전트가 물려받은 프로세스가 명확하고, 일관되며, 문서화가 잘 되어 있다면 그 신입 사원은 슈퍼스타가 될 것입니다. 하지만 프로세스가 "Priya에게 물어보세요, 그녀는 그냥 알고 있으니까요"라거나, "상황에 따라 다릅니다" 혹은 모두가 머릿속에만 담고 있는 문서화되지 않은 세 가지 예외 사항과 같은 식이라면, 에이전트에게는 가망이 없습니다. 에이전트는 전달받지 못한 암묵지 (Tribal knowledge)를 흡수할 수 없습니다.

이것이 바로 두 회사가 동일한 종류의 에이전트를 배포하고도 정반대의 결과를 얻는 이유입니다. 그 차이는 기술 때문인 경우가 거의 없습니다. 한 회사는 넘겨줄 수 있을 만큼 탄탄한 프로세스를 가지고 있었던 반면, 다른 회사는 프로세스로 포장된 습관만을 가지고 있었기 때문입니다.

데이터는 문제의 나머지 절반입니다

에이전트가 조용히 실패하는 두 번째 지점은 데이터입니다. 에이전트의 성능은 그것이 읽을 수 있는 정보의 수준과 같습니다. 고객 기록이 절반만 채워져 있거나, 제품 정보가 서로 일치하지 않는 네 곳에 흩어져 있거나, 과거의 티켓 (Tickets)들이 일관되게 태깅 (Tagging)되지 않았다면, 에이전트는 그 모든 혼란을 그대로 물려받게 됩니다. 에이전트는 잘못된 입력값으로부터 자신 있게 답변할 것이며, 이는 아예 답변하지 않는 것보다 더 나쁩니다.

자동화하기 전에, 냉정하게 질문해 보십시오. 만약 아주 똑똑한 신입 사원이 에이전트가 갖게 될 데이터만을 가지고 있다면, 이 업무를 잘 수행할 수 있겠습니까? 만약 솔직한 답변이 '아니오'라면, 에이전트도 더 잘 해낼 수 없습니다. 에이전트는 공백을 메울 수 있는 직관을 가지고 있지 않습니다. 에이전트는 당신이 제공한 것만을 가질 뿐입니다.

자동화 전의 테스트

따라서 에이전트를 워크플로 (workflow)에 투입하기 전에, 저희는 고객들과 함께 간단한 준비 상태 점검을 수행합니다. 유능한 낯선 사람이 따라 할 수 있을 정도로 프로세스를 명확하게 작성할 수 있습니까? 규칙들이 실제로 일관적입니까, 아니면 업무를 수행하는 사람에 따라 은밀하게 변합니까? 에이전트가 필요로 하는 데이터가 합리적으로 완전하고 신뢰할 수 있습니까? 그리고 예외 상황들이 누군가의 기억 속에 머물러 있는 것이 아니라, 알려져 있고 문서화되어 있습니까?

워크플로가 이 테스트를 통과한다면, 그것은 강력한 후보이며 자동화는 거의 쉽게 느껴질 것입니다. 만약 실패한다면, 당신은 어떤 모델을 구매해야 하는지보다 더 가치 있는 것을 방금 배운 것입니다. 바로 먼저 수행해야 할 작업이 무엇인지 찾아낸 것입니다.

프로세스를 수정하는 것은 낭비되는 시간이 아닙니다

이 부분은 사람들을 놀라게 합니다. 자동화하기 전에 프로세스를 정리하는 데 소비하는 노력은 AI 프로젝트에 부과되는 세금이 아닙니다. 그것은 종종 프로젝트에서 가장 가치 있는 부분이 됩니다. 프로세스를 명확하게 작성하고, 일관성 없는 규칙을 정리하며, 데이터를 정돈하는 작업은 에이전트를 배포하든 하지 않든 보상을 제공합니다. 왜냐하면 그 작업이 워크플로를 인간에게도 더 좋게 만들기 때문입니다.

저희는 고객들이 이러한 정리 작업 중간에, 프로세스가 너무 얽혀 있어서 AI 도입 전부터 이미 예상보다 더 많은 비용을 치르고 있었다는 사실을 발견하는 경우를 보았습니다. 에이전트 프로젝트는 그들이 수년간 참아왔던 무언가를 마침내 해결하게 된 계기가 되었습니다. 자동화는 이제 단순히 더 좋아진 프로세스에 더해진 일종의 보너스였습니다.

도구가 아닌 프로세스로 시작하십시오

항상 기술을 앞세우고 싶은 유혹이 생깁니다. 플랫폼을 선정하고, 모델을 선택한 다음, 그것을 적용할 곳을 찾는 식이죠. 이를 뒤집으십시오. 진정으로 준비된 워크플로우 (Workflow)에서 시작하십시오. 즉, 처리량이 많고, 규칙이 안정적이며, 문서화가 잘 되어 있고, 양질의 데이터를 갖춘 워크플로우입니다. 완벽하게 평범한 에이전트 (Agent)를 그러한 곳에 투입한다면, 엉망인 프로세스를 겨냥한 최첨단 에이전트보다 언제나 더 나은 성능을 보여줄 것입니다.

평범한 에이전트를 활용한 깔끔한 프로세스가 혼란스러운 프로세스에서의 뛰어난 에이전트보다 승리합니다. 이것이 핵심 교훈이며, 대부분의 AI 프로젝트가 계획되는 방식과는 정반대입니다.

만약 자동화를 위한 워크플로우를 눈여겨보고 있지만 그것이 준비되었는지 확신이 서지 않는다면, 그 준비 상태 점검 (Readiness check)이야말로 우리가 고객과 함께 시작하기를 원하는 바로 그 지점입니다. 이는 종종 모델이나 플랫폼에 대한 논의가 이루어지기 전 단계에서 진행됩니다. 이는 당신이 구축한 에이전트가 실제로 작동하도록 보장하는 가장 저렴한 방법입니다.

Shanti Infosoft 소개: Shanti Infosoft는 16개 이상의 산업 분야에서 700개 이상의 프로젝트를 수행한 CMMI Level 5 AI 개발 기업입니다. 우리는 팀들이 AI 아이디어에서 신뢰할 수 있는 프로덕션급 (Production-grade) 소프트웨어로 나아갈 수 있도록 돕습니다 - shantiinfosoft.com | AI integration services.

만약 에이전트의 성능이 저조하다면, 우리는 자동화가 견고한 토대 위에 안착할 수 있도록 에이전트 하단의 프로세스를 먼저 매핑하고 정리하는 것을 도와드릴 수 있습니다. 저희 팀과 상담하세요.

관련 읽을거리: Your AI Demo Works. That's the Problem

Sagar Jain은 Shanti Infosoft의 디렉터이며, 이곳의 팀은 실제 비즈니스 운영을 위한 AI 에이전트와 자동화를 구축합니다.