어느 특정한 목요일, 저는 변화가 필요하다는 것을 깨달았습니다. 제 지원 팀은 정오가 되기도 전에 비밀번호 재설정(password reset)에 관한 동일한 질문에 47번이나 답변했습니다. 그 순간, 저는 우리가 기계라면 몇 초 만에 해결했을 작업에 인간의 재능을 낭비하고 있다는 것을 이해했습니다. 저는 AI 에이전트를 구축하기로 결심했고, 그 결과 반복적인 티켓(ticket) 물량의 80%를 자동화할 수 있었습니다. 제가 어떻게 수행했는지, 그리고 현재 제가 이끄는 프로젝트들에 지금까지 적용하고 있는 교훈들을 여기서 공유하고자 합니다.

진단: AI가 실제로 차이를 만드는 지점

코드 한 줄을 쓰기 전에, 저는 데이터에 몰입했습니다. 우리 시스템에서 6개월 치의 티켓을 추출하여 모두 분류했습니다. 그 결과는 놀라웠습니다. **티켓의 62%**가 다섯 가지 주제, 즉 비밀번호 재설정, 시스템 액세스 권한 부여, VPN 설정, 프린터 관련 문의, 그리고 진행 중인 요청 상태 확인에 관한 것이었습니다.

브라질 시장에서도 이러한 패턴은 반복됩니다. Zendesk의 데이터에 따르면, 브라질 기업들은 1차 레벨(first-level)의 인간 상담 서비스 한 건당 평균 R$ 18에서 R$ 25를 지출합니다. 이를 월간 수천 건의 티켓으로 곱하면 비용은 빠르게 치솟습니다.

제가 팀원들에게 항상 반복하며, André Dias Moreira Prol로서 여기서 다시 한번 강조하는 교훈은 다음과 같습니다: 진단 없는 자동화는 잘못된 문제를 해결하는 비싼 기술일 뿐입니다. 저는 데이터가 반복적이고 인지적 가치가 낮다는 것을 증명한 것들만 자동화했습니다.

아키텍처: RAG, 실제 액션 및 보안

에이전트의 핵심은 RAG (Retrieval-Augmented Generation, 검색 증강 생성) 아키텍처입니다. 모델이 답변을 "지어내도록" 두는 대신, LLM (Large Language Model)을 우리의 내부 문서, 매뉴얼, 검증된 솔루션 이력이 담긴 벡터 데이터베이스(vector database)에 연결했습니다. 이를 통해 기업 환경에서 매우 중요한 문제인 환각(hallucination) 현상을 획기적으로 줄였습니다.

하지만 답변만으로는 충분하지 않았습니다. 차별점은 함수 호출(function calling)을 통해 에이전트에게 실행 능력을 부여한 것이었습니다:

def reset_senha_usuario(usuario_id):
    if validar_identidade(usuario_id):
        novo_token = gerar_token_temporario()
...

모든 민감한 작업은 세 가지 계층을 거칩니다: 신원 확인 (identity validation), 불변의 감사 로그 (immutable audit log), 그리고 모델의 신뢰도 (confidence)가 85% 미만일 때 인간에게 자동으로 전달되는 에스컬레이션 (escalation) 단계입니다. 이 과정에서 저의 디지털 포렌식 (digital forensics) 경험이 결정적인 역할을 했습니다. 모든 이벤트는 LGPD (브라질 일반 데이터 보호법) 준수를 위해 필수적인, 추적 가능한 감사 흔적 (auditable trail)을 생성합니다.

저는 API를 통해 이 모든 것을 기존의 티켓 시스템(기존 서비스 데스크와 연결된 커넥터 사용)에 통합했으며, 직원들이 이미 사용 중인 Teams에 대화형 인터페이스 (conversational interface)를 추가했습니다. 새로운 앱도, 도입 과정의 마찰도 없었습니다.

결과, 시행착오, 그리고 다르게 했을 점

90일 후의 수치입니다:

이득은 단지 재정적인 것만이 아니었습니다. 저희 팀은 인간의 사고가 대체 불가능한 분야인 Stellar 블록체인 상의 자산 토큰화 (tokenization of assets) 및 Soroban 스마트 컨트랙트 (smart contracts) 이니셔티브를 포함한 전략적 프로젝트로 업무를 전환했습니다.

하지만 시행착오도 있었습니다. 초기에는 에이전트가 과도한 주의로 인해 너무 많은 티켓을 에스컬레이션하여 대기열을 발생시켰습니다. 저는 신뢰도 임계값 (confidence thresholds)을 반복적으로 조정했습니다. 또 다른 실수는 **피드백 루프 (feedback loop)**의 중요성을 과소평가한 것이었습니다. 현재는 잘못 평가된 모든 상호작용이 지식 베이스 (knowledge base)에 자동으로 재입력됩니다.

만약 처음부터 다시 시작한다면, 더 작게 시작할 것입니다. 확장하기 전에 **단 하나의 완전한 워크플로우 (workflow)**를 먼저 자동화할 것입니다. 이것은 제가 진행하는 모든 프로젝트에서 얻은 가장 값진 교훈입니다. 확장하기 전에 검증하는 것은 파일럿 단계에서 사용자들의 신뢰를 거의 잃을 뻔했던 재작업 (rework)을 방지해 줍니다.

결론

이 에이전트를 구축하며 저는 IT 분야의 AI가 사람을 대체하는 것이 아니라, 사람들에게 정말 중요한 문제를 해결할 시간을 되돌려준다는 것을 증명했습니다. 만약 당신이 지원 팀을 이끌고 있다면, 오늘 바로 데이터 진단부터 시작하십시오. 그리고 당신의 자동화 여정에 대해 아이디어를 나누고 싶다면 저에게 연락해 주십시오.

André Dias Moreira Prol의 더 많은 기사를 Medium에서 확인하세요.