최근 문의 분류나 사내용 업무 툴을 만드는 과정에서 "이 부분은 AI에게 맡기고 싶다"라는 말을 듣는 경우가 늘었습니다.

하지만 실제로 내용을 살펴보면, AI를 사용하지 않아도 충분한 처리도 상당히 많습니다. 오히려 조건이 명확한 업무에 AI를 도입하면 비용도 증가하고, 결과의 변동성(Fluctuation) 때문에 고민하게 될 수 있습니다.

이 기사에서는 업무 자동화에서 "AI를 사용해야 할 곳"과 "일반적인 규칙 처리 (Rule Processing)로 충분한 곳"을 어떻게 구분하는지 정리합니다.

AI 도입 상담에서는 처음부터 "어떤 AI를 사용할 것인가"로 이야기가 흐르기 쉽습니다.

하지만 업무 툴로서 바라본다면, 먼저 생각해야 할 것은 "이 판단은 매번 같은 답이어도 괜찮은가"입니다.

예를 들어, 금액이 10만 엔 이상이면 상급자 승인으로 넘긴다거나, 스테이터스가 미입금 상태라면 리마인드 대상으로 한다와 같은 처리는 AI일 필요가 없습니다. 조건이 정해져 있고, 매번 같은 결과를 원하기 때문입니다.

반면, 문의 문장을 읽고 "해지 상담 같다", "버그 보고 같다", "온도감이 높아 보인다"라고 판단하는 처리는 규칙만으로는 어려워질 수 있습니다.

이 차이를 처음에 나누어 두면 설계가 상당히 편해질 것이라고 생각합니다.

규칙 처리에 적합한 것은 입력과 출력의 관계가 명확한 업무입니다.

구체적으로는 다음과 같은 것입니다.

업무	규칙화하기 쉬운 이유
금액에 따른 승인 플로우 분기	임계값(Threshold)이 명확함
...

이러한 처리는 AI를 도입하기보다, 평범하게 if문이나 설정 파일로 관리하는 것이 더 안정적입니다.

예를 들어, 문의 유형이 폼의 선택지로 들어가 있다면 AI로 분류할 필요가 없습니다.

if (form.category === "billing") {
assignTo = "경리 담당";
} else if (form.category === "bug") {
...

이 정도로 끝날 처리에 AI를 사용하면, 역으로 "왜 그 담당자가 되었는지" 설명하기 어려워질 수 있습니다.

업무에서는 똑똑해 보이는 것보다, 나중에 추적할 수 있는 것(Traceability)이 더 중요한 상황이 많습니다.

AI가 적합한 것은 입력이 자연어(Natural Language)이고, 판단 기준에 약간의 폭이 있는 업무입니다.

예를 들어, 문의 본문의 분류, 긴 메모의 요약, 사내 지식(Knowledge)으로부터 답변 초안 작성, 자유 기술형 설문 조사 정리와 같은 처리입니다.

이러한 업무는 사람이 읽으면 대략적으로 판단할 수 있습니다. 다만, 그것을 완전한 규칙으로 구현하려고 하면 키워드가 너무 많아집니다.

"취소"라는 단어가 있다고 해서 반드시 해지 희망인 것은 아닙니다. "취소할 수 있나요?"일 수도 있고, "취소되어 곤란합니다"일 수도 있습니다.

실제로 해보면 키워드 일치만으로 분류하는 처리는 처음에는 작동하는 것처럼 보여도, 예외 대응이 점점 늘어날 수 있습니다.

그 경우에는 AI에게 "문장 전체의 의미를 보고 분류하게 하는 것"이 더 자연스럽습니다.

제가 구분할 때는 대략 다음 표를 바탕으로 생각합니다.

관점	규칙 처리 적합	AI 적합
입력	수치, 날짜, 선택지, 고정 항목	자유 기술, 문장, 대화 로그
...

포인트는 AI를 "판단의 중심"에 둘 것인가, 아니면 "인간이나 규칙의 보조"에 둘 것인가입니다.

개인적으로는 업무의 초기 도입 단계에서는 AI를 보조로 두는 것이 실패하기 어렵다고 느낍니다.

예를 들어, 문의를 "청구", "버그", "해지", "기타"로 분류하는 경우를 생각해 봅시다.

먼저, 폼에 카테고리 선택이 있다면 그것을 우선합니다. 이것은 규칙 처리입니다.

if (input.selectedCategory) {
return input.selectedCategory;
}

선택지가 비어 있거나 자유 기술만 있는 경우에 AI를 사용합니다.

다음 문의를 분류해 주세요.
분류는 "청구", "버그", "해지", "기타" 중 하나입니다.
확신도(Confidence)도 0~1 사이로 반환해 주세요.
...

이 경우, AI에게는 분류와 확신도를 반환받습니다.

단, 확신도가 낮은 경우에는 자동으로 담당자에게 할당하지 않고, 인간 확인(Human Review) 단계로 넘깁니다.

if (result.confidence < 0.8) {
return "human_review";
}
...

이 부분이 은근히 중요합니다. AI를 사용하는 경우라도, 전부를 자동 처리로 만들지 않는 것만으로도 운용하기 쉬워집니다.

업무에서 AI를 사용할 때 가장 주의해야 할 것은 전달하는 데이터입니다.

문의 본문이나 고객 정보에는 성명, 전화번호, 이메일 주소, 주소, 계약 정보 등이 포함될 수 있습니다. AI API를 사용할 경우, 어떤 서비스에 무엇을 보내는지 확인하지 않은 채 구현하는 것은 위험합니다.

적어도 다음과 같은 정보는 처리 방식을 정해두는 것이 좋다고 생각합니다.

정보	대응 예시
성명	마스킹(Masking)하여 전송
...

예를 들어, 분류만이 목적이라면 개인 이름은 불필요한 경우가 많습니다.

야마다 타로입니다. 지난달 청구에 대해 확인하고 싶습니다.

이를 그대로 전달하는 것이 아니라, 다음과 같이 해도 분류에는 충분합니다.

[성명]입니다. 지난달 청구에 대해 확인하고 싶습니다.

AI에 전달하기 전에 목적에 불필요한 정보를 깎아내는 것. 이것은 구현 전에 결정해 두어야 할 부분입니다.

AI를 업무에 도입할 때, "어디까지 자동화할 것인가"는 상당히 중요합니다.

전부를 자동화하려고 하면, 단 1건의 오분류(Misclassification)가 그대로 고객 대응 실수로 이어질 수 있습니다. 그렇기 때문에 처음에는 인간의 확인을 남겨두는 설계로 하는 것이 좋습니다.

예를 들어, 다음과 같은 운용 방식입니다.

AI 결과	처리
신뢰도가 높음	자동 분류한다
...

이런 형태라면, AI는 작업을 줄여주는 역할로 활용할 수 있습니다.

한편으로, 최종 책임은 인간이 질 수 있습니다. 업무 툴에서는 이러한 균형이 현실적이라고 생각합니다.

처음부터 전사 확대를 생각하기보다, 하나의 업무에서 작게 시도하는 편이 판단하기 쉽습니다.

저라면 다음과 같은 순서로 진행하겠습니다.

• 대상 업무를 하나로 좁힌다
• 입력 데이터와 출력 결과를 정리한다
• 규칙(Rule)으로 처리할 수 있는 부분을 먼저 만든다
• 규칙으로 어려운 부분만 AI에 넘긴다
• AI의 결과를 인간이 확인한다
• 로그를 보고, 정밀도와 공수 절감을 판단한다

여기서 중요한 것은 AI의 정밀도(Accuracy)만을 보지 않는 것입니다.

분류 정밀도가 높더라도 확인 화면이 사용하기 불편하면 현장에서는 사용되지 않습니다. 반대로, AI의 정밀도가 완벽하지 않더라도 초안 작성이나 1차 분류로서 도움이 될 때가 있습니다.

실제로 해보면, "AI로 전부 한다"보다 "규칙으로 8할을 처리하고, AI로 남은 모호한 부분을 본다" 정도가 적당한 경우가 많습니다.

흔히 하는 실수는 AI에 넘기는 범위를 너무 넓게 잡는 것입니다.

"문의 대응을 AI화하고 싶다"라고 말해도, 그 안에는 분류, 담당자 배정, 답장 문장 작성, 이력 저장, 알림, 승인 등 여러 가지 처리가 포함되어 있습니다.

이 전부를 AI에게 맡길 필요는 없습니다.

분류는 AI, 담당자 배정은 규칙, 답장 문장은 AI의 초안 작성, 인간이 승인하여 전송하는 식으로 나눌 수 있습니다.

또 다른 실수는 예외 발생 시의 동작을 결정하지 않는 것입니다.

AI API가 실패했을 때, 응답이 비어 있을 때, 분류가 예상 밖이었을 때 어떻게 할 것인가. 이 부분을 결정하지 않고 만들면 운용 중에 멈추기 쉽습니다.

최소한, AI가 실패하면 인간 확인으로 넘긴다, 로그를 남긴다, 재실행할 수 있도록 한다 정도는 넣어두고 싶습니다.

AI를 사용해야 할 업무인지 여부는 "AI로 할 수 있는가"가 아니라 "규칙으로 충분한가"부터 생각하면 정리하기 쉽습니다.

수치, 날짜, 선택지, 고정 조건으로 판단할 수 있는 것은 규칙 처리가 더 안정적입니다.

반면, 자유 기술 분류, 요약, 의미 파악, 답변안 작성과 같이 문장의 폭을 다루는 업무는 AI가 적합합니다.

다만, AI에 전달하는 정보는 압축할 필요가 있으며, 인간의 확인을 남기는 설계도 중요합니다. 특히 처음에는 AI를 너무 주인공으로 만들지 말고, 규칙 처리의 부족한 부분을 보완하는 정도가 현실적이라고 느끼고 있습니다.

마찬가지로, AI 기능을 넣어야 할지 규칙 처리로 충분할지 고민되는 업무가 있다면, 나고야 업무 툴 공방(名古屋業務ツール工房)에서 무료 상담을 받을 수 있습니다. 현재 있는 입력 데이터와 최종적으로 원하는 출력을 정리하는 것부터 확인할 수 있습니다.