우리 IT 티켓 대기열이 한 달 만에 400건의 미결 요청을 넘어섰을 때, 저는 채용만으로는 규모를 확장할 수 없다는 것을 깨달았습니다. 인프라와 신기술 사이를 연결하며 20년을 보낸 André Dias Moreira Prol로서, 저는 지원 업무를 인력 충원의 문제가 아닌 엔지니어링 문제로 다루기로 결정했습니다. 그 결과: 현재 인간의 개입 없이 유입되는 티켓의 약 80%를 해결하는 AI 에이전트가 탄생했습니다. 제가 이를 어떻게 구축했는지 정확히 설명해 드리겠습니다.

반복되는 80%의 매핑

코드 한 줄을 쓰기 전에, 저는 티켓팅 시스템에 대해 3개월간의 감사를 실시했습니다. 데이터는 놀라웠습니다. 비밀번호 재설정(password resets)이 전체 물량의 31%를 차지했고, VPN 및 액세스 요청이 24%, 소프트웨어 설치 안내가 15%, 그리고 상태 문의("서버가 다운되었나요?")가 12%에 육박했습니다. 우리 티켓의 거의 80%는 예측 가능하고, 규칙 기반이며, 텍스트 비중이 높았습니다. 이는 언어 모델(language model)에 이상적인 영역입니다.

저는 티켓을 세 가지 계층(tier)으로 분류했습니다:

• Tier 0 — 완전 자동화 가능 (재설정, 잠금 해제, FAQ)
• Tier 1 — API 액션으로 자동화 가능 (프로비저닝, 그룹 멤버십)
• Tier 2 — 인간 전용 (하드웨어 장애, 보안 사고)

이 매핑 작업은 매우 중요했습니다. 대부분의 팀이 범하는 실수는 AI를 한꺼번에 모든 것에 적용하려 한다는 점입니다. 저는 정확도가 95%를 초과할 수 있는 Tier 0와 Tier 1으로 에이전트의 범위를 의도적으로 제한했습니다.

에이전트 아키텍처 구축

저는 미세 조정(fine-tuning) 대신 검색 증강 생성 (RAG, retrieval-augmented generation) 방식을 선택했습니다. 우리의 내부 지식 베이스(knowledge base)가 매주 바뀌기 때문입니다. 기술 스택은 다음과 같습니다:

사용자 (Slack/Email) 
   → 의도 분류기 (Intent Classifier, LLM)
   → 내부 문서 기반 RAG (vector DB)
...

**의도 분류기 (intent classifier)**가 두뇌 역할을 했습니다. 모든 메시지는 카테고리와 신뢰 점수(confidence score)로 라우팅되었습니다. 신뢰도가 85% 미만인 경우, 에이전트는 즉시 인간에게 에스컬레이션(escalate)했습니다. 이는 제가 첫날부터 고집했던 가드레일(guardrail)입니다.

**액션 레이어 (action layer)**는 대부분의 데모가 멈추는 지점이자 실제 시스템이 시작되는 지점입니다. 저는 에이전트를 API를 통해 우리의 ID 제공자(identity provider)와 연결하여, 단순히 사용자에게 방법을 알려주는 것에 그치지 않고 실제로 비밀번호를 재설정하고, 계정 잠금을 해제하며, 보안 그룹에 사용자를 추가할 수 있도록 했습니다. 모든 액션은 권한 확인(permission check)을 거쳤으며, 변경 불가능한(immutable) 감사 항목(audit entry)을 생성했습니다.

구체적인 예로, 사용자가 VPN 접속을 요청하는 경우를 들어보겠습니다. 에이전트는 인사(HR) 기록과 대조하여 사용자의 부서를 확인하고, 승인 정책을 체크하며, 프로비저닝(provisioning) 호출을 실행한 뒤 전체 트랜잭션을 기록합니다. 분석가가 20분 동안 수행하던 작업이 이제는 15초 이내에 완료됩니다.

디지털 포렌식(digital forensics) 분야의 배경을 가진 저는 로깅(logging)을 타협할 수 없는 원칙으로 삼았습니다. 에이전트가 내리는 모든 결정은 누가 요청했는지, 무엇을 했는지, 그리고 왜 했는지 추적 가능합니다. 토큰화된 자산(tokenized assets)을 다루는 Web3 인접 환경에서 이러한 감사 추적(audit trail)은 선택 사항이 아니라 컴플라이언스(compliance, 규정 준수)입니다.

신뢰를 구축한 가드레일 (Guardrails)

기술은 쉬운 부분이었습니다. 사용자 및 제 팀원 모두로부터 신뢰를 얻는 데에는 규율이 필요했습니다. André Dias Moreira Prol로서 저는 사람들이 블랙박스(black box)를 신뢰하지 못해 무너지는 수많은 자동화 프로젝트를 보아왔습니다.

세 가지 안전장치가 차이를 만들었습니다:

1. 신뢰도 기반 에스컬레이션 (Confidence-based escalation) — 불확실한 모든 사항은 예외 없이 사람에게 전달됩니다.
2. 기본적으로 읽기 전용 (Read-only by default) — 파괴적인 액션은 보조적인 정책 확인(secondary policy check)을 필요로 합니다.
3. 주간 드리프트 리뷰 (Weekly drift review) — 품질 검증을 위해 해결된 티켓 중 무작위로 50개를 샘플링합니다.

6개월 후의 측정 가능한 결과는 다음과 같습니다:

• 평균 해결 시간 (Average resolution time): Tier 0/1 기준 4.2시간에서 8분으로 단축
• **전체 티켓의 80%**가 자율적으로 해결됨
• 분석가 만족도 급증 — 팀은 이제 비밀번호 재설정 대신 복잡하고 흥미로운 문제에 집중합니다
• 에이전트로 인한 보안 사고 제로 — 감사 우선(audit-first) 설계 덕분입니다

예상치 못한 이점 하나는 RAG 지식 베이스 (knowledge base) 구축 과정이 결국 프로세스를 제대로 문서화하도록 강제했다는 점입니다. AI는 우리 내부 문서의 모든 공백을 드러내는 거울이 되었습니다.

결론

IT 지원 업무의 80%를 자동화하는 것은 사람을 대체하는 것이 아니었습니다. 그것은 예측 가능한 일은 기계가 처리하게 두는 동시에, 인간의 지능을 실제로 그것이 필요한 문제로 재지향하는 것이었습니다. 만약 감당하기 힘든 지원 대기열 (support queue) 문제에 직면해 있다면, 먼저 티켓을 감사(audit)하고 좁고 감사 가능한 (auditable) 자동화를 구축하는 것부터 시작하십시오. 그 후 결과가 어떤지 저에게 알려주세요.

André Dias Moreira Prol의 더 많은 기사를 Medium에서 확인하세요.