AI 벤더에게 아무도 묻지 않는 레퍼런스 체크 질문들

저는 인정하고 싶지 않을 만큼 여러 번 이 과정을 잘못 처리해 왔습니다.

벤더가 보내준 레퍼런스(Reference, 참조 고객)에게 전화를 겁니다. 세 명의 고객 모두 만족하고 있으며, 조리 있게 말하고, 대략 비슷한 내용들을 이야기합니다. 당신은 기분 좋게 전화를 끊습니다. 그리고 계약을 체결합니다. 6개월 후, 당신은 72시간마다 한 번씩 응답하는 지원 팀과 첫해보다 40%나 더 높은 갱신 견적서를 마주하게 됩니다.

레퍼런스 체크는 당신에게 아무런 유용한 정보도 주지 않았습니다. 고객들이 거짓말을 했기 때문이 아닙니다. 당신이 잘못된 질문을 했기 때문입니다.

이제 제가 던지는 질문들은 다음과 같습니다.

"지난 6개월 동안 해당 벤더의 담당자를 몇 명이나 만나보셨나요?"

모든 것을 처리하지만 때때로 느린 단 한 명의 담당자 — 이것은 무언가를 시사합니다. 영업, 기술 지원(Technical Support), 그리고 리더십(Leadership)에 걸친 팀 구성 — 이것은 또 다른 무언가를 시사합니다. 계정 팀(Account Team)이 빈약한 엔터프라이즈 AI 벤더들은 당신이 가장 필요로 하는 바로 그 순간, 즉 최악의 타이밍에 무언가 고장 났을 때 그 한계를 드러냅니다.

"운영 환경(Production)에서 무언가 고장 났던 마지막 사례에 대해 말씀해 주세요."

고장이 날지 안 날지가 아니라, 고장이 '났을 때'를 묻는 것입니다. 무언가는 항상 고장 납니다. 저는 그 다음에 무슨 일이 일어났는지 알고 싶습니다. 벤더가 나타났나요? 문제가 발생한 동안 명확하게 소통했나요? 티켓(Ticket)을 종료한 후 후속 조치를 취했나요, 아니면 티켓을 닫고 사라져 버렸나요?

이 질문에 대한 답변은 그 어떤 제품 데모(Product Demo)보다 벤더에 대해 더 많은 것을 알려줍니다.

"계약하기 전에 미리 알았더라면 좋았을 것이라고 생각되는 점은 무엇인가요?"

이 질문은 비판이 아닌 조언의 형태로 구성되어 있기 때문에 효과적입니다. "이 제품은 문제가 있습니다"라고 절대 말하지 않을 레퍼런스 고객들도 이 질문에는 기꺼이 솔직하게 답변할 것입니다. 예상치 못한 가격 변동, 배포 후에야 나타난 범위(Scope)의 제한, 또는 영업 팀이 얼버무렸던 기능적 격차(Feature Gaps)에 관한 내용이 있는지 주의 깊게 들으십시오.

**"갱신할 때, 다른 대안들을 검토해 보셨나요?"

갱신(Renewal)은 정직한 신호입니다. 다른 대안을 찾아보지 않고 갱신한 고객은 진정으로 만족하고 있는 것입니다. 세 가지 다른 옵션을 검토한 후 다시 돌아온 고객은 실제 경쟁 제품보다 이 벤더를 선택한 사람입니다. 갱신 시점이 다가오고 있음에도 확신하지 못하는 고객은 당신이 할 수 있는 가장 가치 있는 레퍼런스 콜(Reference call) 대상입니다. 만약 벤더가 그들을 명단에 올려준다면 말이죠. 하지만 벤더는 절대 그러지 않을 것입니다.

"초기 도입 이후에 팀에 합류한 사람들에게는 어떻게 작동하나요?"

초기 배포(Initial deployment) 단계에는 벤더의 지원, 내부 챔피언(Internal champions), 그리고 모두의 세심한 주의가 있었습니다. 하지만 나중에 합류하여 스스로 도구를 익혀야 했던 직원들이 겪는 지속적인 경험이 바로 실제 일상적인 경험입니다. 바로 이 지점에서 대부분의 엔터프라이즈 AI 도구들이 파일럿(Pilot) 결과보다 조용히 성능이 저하됩니다.

이 질문들은 그 어떤 것도 공격적이지 않습니다. 고객들이 좋은 경험을 하고 있는 벤더라면 이 질문들에 자신 있게 답할 것입니다. 고객들의 경험이 엇갈리는 벤더라면, 계약 체결 전 협상 내용을 바꿀 수 있는 정보를 당신에게 제공할 것입니다.

두 결과 모두 "제품이 마음에 드시나요?"라고 물었을 때 얻는 답변보다 훨씬 더 낫습니다.