자주 묻는 질문·고민

• 「사내 헬프데스크 문의가 너무 많아서, 아침 일찍부터 계속 대응에 쫓기고 있다」
• 「비슷한 'VPN 연결이 안 됩니다', '비밀번호를 잊어버렸습니다' 같은 문의를 매일 수십 건씩 처리하고 있다」
• 「1인 정보시스템(一人情シス, 사내 SE가 자신 한 명뿐인 체제를 말합니다)이다 보니, 우선순위가 높은 트러블과 '일단 물어본 것' 정도의 질문이 같은 줄에 늘어서 있어 판단하는 데 시간을 뺏긴다」
• 「ChatGPT를 사용하라는 지시는 있지만, 실제로 어떻게 업무에 도입해야 할지 모르겠다」

저도 같은 지점에서 막혀 있었습니다. 이번에는 이 고민을 GPT(OpenAI가 제공하는 대화형 AI를 말합니다. 이하, 사내 시스템에 구축하여 사용하는 것을 상정하여 ChatGPT의 API 버전을 가리킵니다)를 통한 문의 1차 분류(一次切り分け)로 해결한 실례를 실패담과 함께 소개해 드리겠습니다.

1인 정보시스템을 운영하며 가장 힘든 점은, 아침 일찍 시작되는 헬프데스크 전화와 채팅의 이중 구조입니다. 어느 달에 문의 건수를 세어보니 하루 평균 34건이었고, 그중 '비밀번호 재설정', 'VPN 접속 불량', '프린터 인쇄 불가', 'Teams 실행 불량'의 4개 카테고리만으로 전체의 60%를 차지하고 있었습니다. 게다가 제가 첫 1차 답변(담당자 배정이나 간이 분류)에 들였던 시간은 건당 평균 58분이었습니다. 여기에는 '무슨 일이 일어나고 있는지 정리해서 다시 묻는' 시간이 상당히 포함되어 있었으며, 솔직히 그 부분이 병목(Bottleneck)이었습니다.

그래서 GPT에게 문의 본문을 읽게 하여 '카테고리 분류', '긴급도 판정', '가장 먼저 확인해야 할 사항'까지 자동 생성하는 구조를 만들고, 저는 판정 결과만 보고 대응하도록 해보았더니, 동일한 4개 카테고리의 1차 대응 시간이 평균 27분까지 단축되었습니다.

결론 (먼저 한마디로)

문의 본문을 GPT에 던져서 '카테고리·긴급도·첫 분류 질문'을 템플릿으로 생성하게 하는 것만으로도, 1차 대응 시간은 거의 절반으로 줄어듭니다. 거창한 시스템 연동은 필요 없으며, Excel 매크로나 Power Automate(Microsoft의 노코드 자동화 서비스입니다) + GPT API의 조합만으로도 충분히 효과를 볼 수 있습니다.

자세한 해설

1차 분류가 시간을 잡아먹는 이유는 사실 대부분이 '정보의 정리'이지 '전문 지식에 의한 판단'이 아니라는 점을 깨달은 것이 이번 시도의 계기였습니다.

'Teams가 실행되지 않습니다'라는 한 마디뿐인 문의라도, 실제로 필요한 1차 분류는 대략 정해져 있습니다.

• OS는 무엇인가 (Windows/Mac)
• 재부팅을 시도해 보았는가
• 에러 메시지가 뜨고 있는가
• 마지막으로 실행되었던 것은 언제인가

이를 매번 직접 다시 묻는 것이 아니라, GPT에게 'Teams 실행 불량이라는 카테고리라면, 이 4개 항목을 되묻는 템플릿을 내줘'라고 시키면 답장 문구 초안까지 순식간에 나옵니다. 제가 할 일은 그 초안을 보고 '맞네'라고 확인한 뒤, 복사해서 붙여넣어 보내는 것뿐이게 되었습니다.

포인트는 GPT에게 '정답'을 내놓으라고 하지 않는 것입니다. 네트워크 장애의 근본 원인을 GPT가 맞히게 하는 것은 무리가 있습니다. 어디까지나 '분류'와 '되물어야 할 항목의 템플릿화'로 역할을 한정한 것이 실운용에서 성공한 가장 큰 이유라고 느낍니다.

구현 예시

이번에는 거창한 티켓 시스템이 없었기 때문에, 문의용 Teams 채널에 게시된 내용을 Power Automate로 수집하여 GPT API에 전달하고, Slack(Teams에서도 동일한 구성이 가능합니다)에 정형화된 결과를 반환하는 최소 구성으로 만들었습니다.

먼저 GPT에게 전달할 프롬프트(Prompt) 템플릿입니다.

당신은 사내 헬프데스크의 1차 분류 담당자입니다.
다음 문의 문을 읽고, 다음 JSON 형식으로 출력해 주세요.
{
...

이를 호출하는 쪽의 Python 코드는 다음과 같습니다 (사내에서 실제로 구동하던 것을 간략화했습니다).

import json
from openai import OpenAI
client = OpenAI(api_key="환경 변수에서 읽어온다고 가정합니다")
...

출력은 이런 이미지입니다.

{
"category": "Teams",
"urgency": "중",
...

이 draft_reply를 거의 그대로 복사해서 붙여넣는 것만으로 1차 대응이 완료되는 케이스가 전체의 30% 정도 있었습니다. 나머지 70%는 역시 직접 판단이 필요했지만, 그럼에도 '되묻는 문구를 생각하는 시간'이 제로가 된 것은 매우 컸습니다.

실제로 사용했던 분류 카테고리 목록 (참고)

• 비밀번호 재설정 (Password Reset)
• VPN 접속 불량
• 인쇄 트러블
• Teams/Outlook 실행 불량
• 단말기 대여·반납
• 기타 (매번 수동으로 판단)

처음에는 10개 이상의 카테고리로 세분화했으나, GPT의 분류 정확도가 떨어졌기 때문에 상위 5~6개 카테고리 + '기타'로 범위를 좁혔더니 안정되었습니다.

주의사항

• 긴급도 판정을 과신하지 말 것: 한 번은 보안 관련 문의("수상한 메일을 열었을지도 모른다")를 GPT가 '낮음'으로 판정한 적이 있었습니다. 문체가 정중하고 차분한 톤이었기 때문에 긴급도를 낮게 오판한 것 같습니다. 이 카테고리에 대해서만은 "키워드에 '수상', '바이러스', '첨부'가 포함되어 있으면 기계적으로 긴급도를 '높음'으로 덮어쓰기 한다"라는 규칙을 별도로 적용하고 있습니다. GPT의 판정을 그대로 믿지 말고, 최종 확인은 반드시 직접 수행해야 합니다.
• 개인정보·기밀정보 취급: 문의 본문에 비밀번호 자체나 계정 정보가 적혀 있는 경우가 있습니다. 외부 API로 전송하기 전에, 사내 보안 정책상 API 전송이 허용되어 있는지 반드시 확인하십시오. 가능하다면 전송 전에 마스킹 처리(해당할 법한 문자열을 가리는 처리)를 거치는 것이 안전합니다.
• 온도 파라미터 (temperature)는 0으로 설정할 것: 분류 태스크에서는 출력의 변동성이 치명적입니다. 동일한 문의 문구에 대해 카테고리가 매번 바뀌면 운영이 무너지기 때문에, 반드시 0으로 고정하고 있습니다.
• 완전 자동 답장은 하지 말 것: 초안은 사람이 확인한 후 보내는 운영 방식을 유지하십시오. 어디까지나 1차 분류의 보조 도구이며, 최종 판단과 전송 책임은 본인에게 있습니다.

요약

• 문의의 1차 분류는 '전문 지식'보다 '정보 정리' 작업이 대부분을 차지하며, 이는 GPT와 궁합이 좋은 영역입니다.
• 카테고리 분류·긴급도 판정·확인 항목 템플릿 생성을 GPT에 맡기는 것만으로도, 1차 대응 시간이 58분에서 27분으로 체감상으로나 데이터상으로나 절반으로 줄었습니다.
• 긴급도 판정은 GPT에만 맡기지 말고, 키워드에 의한 강제 덮어쓰기 규칙 등 인간 측의 세이프티 넷(Safety Net)을 반드시 마련하십시오.
• 우선 자사의 문의 로그를 1주일 분량 확인하여, 상위 비중을 차지하는 빈출 카테고리를 5~6개로 좁히는 것부터 시작하는 것이 지름길입니다.

오늘부터 바로 따라 할 수 있는 체크리스트로서, 도입 절차를 정리해 둡니다.

• 최근 12주간의 문의를 집계하여 빈출 카테고리를 56개로 좁힌다.
• 카테고리별로 '가장 먼저 확인해야 할 항목'을 직접 3개씩 작성한다.
• 이를 바탕으로 프롬프트를 만들고, GPT API를 통해 분류 결과를 JSON으로 출력시킨다.
• 긴급도가 높아지기 쉬운 키워드(수상, 바이러스, 첨부 등)는 강제 덮어쓰기 규칙을 별도로 설정한다.
• 개인정보·기밀정보의 전송 가능 여부를 사내 정책으로 확인한다.
• 첫 1주일은 초안을 그대로 믿지 말고, 반드시 사람이 육안으로 확인한 후 보낸다.

참고 링크

Discussion