고객 설문조사나 직원 설문조사의 자유 기술형 칸은 선택지 칸과 달리 방치되기 쉽습니다. 모이는 내용은 '담당자가 친절했다', '좀 더 저렴했으면 좋겠다'와 같은 단편적인 문장들로, 누군가가 전부 읽고 정리하는 작업이 됩니다. 이 정리를 AI에 맡기는 것은 일반적인 활용법이지만, 요청 방법을 잘못하면 나오는 분류 결과가 매번 달라지게 됩니다.
AI에게 분류를 부탁할 때, 많은 사람들은 라벨 목록만 전달합니다. 예를 들어 '응대, 가격, 품질, 요구사항, 기타'와 같은 5개의 라벨 이름입니다. 이것만으로도 일단은 분류 결과가 돌아옵니다. 하지만 다음과 같은 불안정성이 발생합니다.
- '담당자의 설명이 이해하기 쉬웠다'와 '응대가 친절했다'가 다른 라벨에 분산됩니다.
- '좀 더 저렴했으면'과 '가격에 비해 적절하지 않다'가 각각 '가격'에는 들어가고, 다른 하나는 '기타'에 들어갑니다.
- 요청할 때마다 같은 문장이 다른 라벨에 들어갑니다.
원인은 간단합니다. 각 라벨의 판단 기준이 AI 측의 추측에 맡겨져 있기 때문입니다. 라벨 이름만으로는 너무 짧아서, '응대'가 무엇을 포함하는지 한 단어만으로 읽어낼 수 없습니다.
해결책은 라벨별로 3~5개의 '예시(샘플)'를 미리 준비하는 것입니다. 예시는 실제 답변과 비슷한 문장으로 작성합니다.
- 응대: '담당자의 설명이 이해하기 쉬웠다', '전화 응대가 친절했다', '시간 맞춰 와 주었다'
- 가격: '좀 더 저렴했으면 좋겠다', '요금은 적절하다고 생각한다', '부품 비용이 예상보다 비쌌다'
예시가 있으면 AI는 '이름의 정의'가 아니라 '문장의 형태'를 기준으로 분류합니다. 표현이 흔들려도 의미가 비슷한지 여부를 판단하는 것이 안정됩니다.
예시를 작성할 때의 힌트는 두 가지입니다. 과거 설문조사 답변이 쌓여 있다면, 거기서 각 라벨에 해당할 것 같은 문장을 가져오는 것이 확실합니다. 처음이라 실제 데이터가 없다면, 현장 직원이 '이런 문장이 올 것이다'라고 손으로 작성합니다. 완벽할 필요는 없으며, 벗어난 문장은 나중에 수정할 수 있습니다.
분류 대상에는 '기타'가 필요하지만, 기타를 어떻게 처리할지는 미리 결정해 두어야 합니다. 결정해야 할 것은 빈도입니다. 일주일에 한 번, 기타에 들어간 답변만 사람이 살펴볼 정도면 충분합니다.
기타 항목이 늘어날 때, 그 내용은 '아직 이름이 붙지 않은 불만'인 경우가 많습니다. 같은 취지의 문장이 반복적으로 나타난다면, 그것은 새로운 라벨의 후보입니다. 새로운 라벨을 추가했다면, 그 예시도 3~5개와 기타 내용에서 가져와 작성합니다.
분류 결과 확인도 전수 조사할 필요는 없습니다. 50건 중 1건 비율로 육안 검사를 하고, 오류를 발견하면 해당 문장을 적절한 라벨의 예시에 추가합니다. 이렇게 하면 다음부터의 불안정성이 줄어듭니다. 확인의 목적은 실수 발견보다 예시 업데이트에 있습니다.
설비 유지보수를 하는 E사(가상)에서는 작업 완료 후 고객 설문조사의 자유 기술형 답변이 매월 수십 건 쌓였습니다. 처음에는 5개의 라벨 이름만 전달하여 AI에게 분류를 요청했지만, '응대'에 들어가야 할 문장이 '품질'에 섞이는 등, 결과를 읽을 때마다 순서가 바뀌는 것처럼 보였습니다.
검토를 통해 각 라벨에 예시를 4개씩 첨부하도록 했습니다. 그러자 첫 번째와 두 번째 모두 같은 문장이 같은 라벨에 들어가게 되었습니다. 또한 기타 항목에 '부품 비용이 비쌌다'와 같은 문장이 집중되어 있었기 때문에, '요금'이라는 라벨을 추가하고 기타에서 가져온 문장을 그대로 예시로 사용했습니다. 그 후로는 기타에 남는 문장이 줄었다고 합니다.
이 사례는 운영 방식을 보여주기 위한 가상의 이야기이지만, 개선하는 것은 AI가 아니라 '전달하는 것'입니다. 요청 방법을 정돈하는 것만으로도 같은 AI라도 낼 수 있는 결과의 질이 달라집니다.
- 자유 기술형 분류는 라벨 이름이 아닌 '예시(샘플)'로 판단 기준을 전달하면 일관성이 유지된다.
- 예시는 각 라벨당 3~5개, 과거 답변에서 가져오는 것이 확실하다.
- '기타'는 주 1회 살펴보고, 늘어나면 새로운 라벨 후보로 본다.
- 확인은 샘플링으로 충분하며, 오류를 발견하면 예시에 추가하여 업데이트한다.
분류의 정확도는 AI의 성능보다 예시의 질에 의해 거의 결정됩니다. 그리고 예시로 만들 수 있는 문장을 알고 있는 사람은 현장의 목소리를 일상적으로 읽는 사람입니다. AI에게 맡기기 전 30분을 이 예시 제작에 사용하는 것이 가장 가치가 높습니다.
