설문조사 자유 기술형 답변을 AI로 분류하기 전에 결정해야 할 설계

설문조사의 자유 기술형(free-text) 답변을 AI로 분류하기 전에, 프롬프트(Prompt)보다 먼저 결정해야 할 것이 있습니다.

그것은 답변을 나중에 설명할 수 있는 형태로 남겨두는 것입니다.

어떤 답변을 분류했는지
어떤 문항에 대한 답변인지
어떤 분류 규칙을 사용했는지
...

이러한 정보가 없는 상태에서 AI 분류를 시작하면, 리포트는 만들 수 있어도 나중에 설명할 수 없습니다.

이 기사에서는 설문조사 자유 기술형 답변을 AI로 분류하기 전의 열(Column) 설계를 정리합니다.

먼저, 자유 기술형 답변을 그대로 AI에게 전달하지 않는 것이 좋습니다.

최소한 다음의 열을 준비합니다.

response_id
question_id
question_text
...

AI가 읽는 것은 answer_text만이 아닙니다.

어떤 문항에 대한 답변인지, 어떤 세그먼트(Segment)인지, 어떤 동의 범위인지도 분류 결과에 영향을 미칩니다.

예를 들어 「높다」라는 답변만으로는 의미가 부족합니다.

요금에 대해 높다
도입 허들이 높다
만족도가 높다
...

문항과 문맥(Context)이 없으면, AI는 그럴듯한 분류를 반환해 버립니다.

처음부터 라벨(Label)을 너무 고정해 버리면, 답변의 실태를 놓치게 됩니다.

가격
기능
지원
...

이 정도의 분류는 편리하지만, 자유 기술형 답변에서는 「기타」가 늘어납니다.

첫 단계에서는 라벨을 2단계로 나눕니다.

primary_theme
secondary_theme

나아가, AI가 확신을 갖지 못하는 답변을 걸러내기 위한 열을 만듭니다.

needs_human_review
classification_confidence
classification_note

여기서 중요한 것은 AI에게 모든 것을 결정하게 하지 않는 것입니다.

AI는 후보를 제시하고, 인간이 리뷰(Review)합니다.

AI 분류를 업무에 사용하려면 리뷰 열이 필요합니다.

ai_theme
ai_reason
human_theme
...

ai_theme는 AI의 출력물입니다.

human_theme는 인간이 확정한 분류입니다.

이 두 가지를 나누어 두면 나중에 다음과 같은 일을 할 수 있습니다.

AI 분류가 얼마나 맞았는지
어떤 분류에서 차이가 발생하는지
어떤 테마가 늘어나고 있는지
...

AI 분류를 도입하는 목적은 분류를 자동화하는 것만이 아닙니다.

미처리 답변을 줄이고, 설명 가능한 상태를 만드는 것입니다.

흔히 하는 실수는 모든 답변을 한꺼번에 AI에게 전달하여 전체 요약만 만드는 것입니다.

이 설문조사 답변을 요약해 주세요

이것은 초기 파악에는 편리합니다.

하지만 업무 판단에는 부족합니다.

필요한 것은 답변 단위의 분류입니다.

response_id별로 분류한다
분류 이유를 남긴다
저평가나 긴급도를 별도 열로 만든다
...

요약은 마지막에 해도 좋습니다.

먼저 답변 단위의 상태를 정돈합니다.

설문조사에서는 수치 평가와 자유 기술형 답변을 함께 볼 필요가 있습니다.

score
comment
nps_group
...

같은 코멘트라도 점수에 따라 의미가 달라집니다.

score: 9
comment: 설정이 조금 더 간편하면 좋겠다
score: 3
...

전자는 개선 요청일 수 있습니다.

후자는 이탈 리스크입니다.

AI 분류에서는 코멘트뿐만 아니라 점수도 전달합니다.

단, 개인정보나 불필요한 속성은 너무 많이 전달하지 않도록 주의합니다.

프롬프트는 중요합니다.

하지만 그 전에 운용(Operation)을 결정합니다.

언제 분류할 것인가
누가 리뷰할 것인가
분류 결과를 어디서 볼 것인가
...

이것이 없으면 AI 분류는 일회성 분석으로 끝납니다.

운용 체계로 만들려면 분류 결과는 답변 레코드(Record)로 되돌려 보냅니다.

classification_status: pending / classified / reviewed / excluded

이러한 상태값이 있으면 미분류, 리뷰 필요, 확정됨을 구분할 수 있습니다.

FORMLOVA에서는 폼 답변을 「수집 후의 데이터」로 취급합니다.

답변이 도착한다.

상태가 부여된다.

담당자가 결정된다.

알림이 간다.

AI가 분류 후보를 낸다.

인간이 확인한다.

리포트에 반영한다.

이러한 흐름이 있으면 설문조사 자유 기술형 답변도, 문의도, 채용 응모도 동일한 사고방식으로 다룰 수 있습니다.

설문조사에 국한되지 않는 VOC 분석의 수용처는 이곳에 모아두었습니다.

설문조사 자유 기술형 답변을 AI로 분류하기 전에, 다음을 결정합니다.

답변 ID
문항 ID
분류 상태
...

AI 분류는 단순히 깔끔한 라벨을 붙이기 위한 것이 아닙니다.

나중에 설명할 수 있는 답변 운영 체계를 만들기 위한 것입니다.

설문 답변 AI 분석의 전체 설계는 FORMLOVA의 본문 기사에서 정리하고 있습니다.