우리는 지역 서비스 업체(계약업체, 미용실, 치과, 자동차 정비소 등)를 위한 AI 접수원인 Robin을 구축했습니다. 이를 출시하며 얻은 가장 큰 교훈은 LLM(대규모 언어 모델)에 관한 것이 아니었습니다. 그것은 바로 '마지막 10피트(last 10 feet)'에 관한 것이었습니다. 즉, AI가 발신자의 의도를 이해한 직후에 어떤 일이 일어나는가에 대한 문제였습니다.

쉬운 80%

전화 통화나 SMS 스레드에서 LLM이 자연스럽게 들리도록 만드는 것은 이제 진정으로 해결된 문제입니다. 음성 모델(Voice models)은 훌륭하고, 지연 시간(Latency)은 충분히 낮으며, "로봇이 아닌 도움이 되는 안내 데스크 직원처럼 들리게 하라"는 프롬프트 엔지니어링(Prompt engineering)은 이미 잘 알려진 경로입니다. 그 부분은 전체 구축 시간의 약 20% 정도밖에 차지하지 않았습니다.

실제로 중요한 어려운 20%

진정한 엔지니어링이 필요했던 부분은 다음과 같습니다:

• 실제 캘린더 인지 (Real calendar awareness). "AI가 무언가를 예약했다고 생각하는 것"이 아닙니다. Robin은 실제 가용성, 실제 영업시간(소유자의 실제 일정, 공휴일, 완충 시간 포함)을 확인하고 실제 캘린더에 기록합니다. 빈 슬롯을 확인할 수 없다면, 예약된 척하지 않습니다.
• 양식처럼 느껴지지 않는 확인 루프 (Confirmation loops). 문자를 주고받는 인간 고객은 대화를 기대하지, 마법사(Wizard) 형태의 절차를 기대하지 않습니다. 하지만 결과적으로는 구조화된 데이터(이름, 서비스, 시간, 전화번호)가 필요합니다. 우리는 경직된 단계를 강요하기보다 자연어 대화에서 구조화된 의도(Structured intent)를 파싱(Parsing)하는 방식을 택했습니다.
• 우아한 실패 (Graceful failure). Robin이 정말로 무언가를 모를 때(맞춤형 가격, 특이한 예외 사례, 화난 고객 등), 자신 있게 말을 지어내는 대신 "사장님이 다시 전화드리도록 하겠습니다"라고 말해야 합니다. 확신에 찬 오답은 모른다는 인정보다 더 나쁩니다. 특히 월 97달러짜리 제품이 월 3,000달러짜리 인간 직원을 대신하고 있을 때는 더욱 그렇습니다.
• 비즈니스 보이스 소유 (Owning the business's voice). 모든 비즈니스는 조금씩 다르게 들립니다. 치과와 HVAC(냉난방 공조) 계약업체의 Robin이 똑같은 방식으로 말해서는 안 됩니다. 이는 모델의 선택 문제라기보다, 모든 대화에 주입되는 구조화된 "비즈니스 프로필(Business profile)" 레이어의 문제로 귀결되었습니다.

우리의 사용 사례를 넘어 이것이 중요한 이유

단순히 질문에 답하는 것을 넘어 인간의 역할을 대체하거나 보조하기 위한 AI 에이전트(AI agent)를 구축하고 있다면, 이 교훈은 일반화될 수 있습니다. 즉, 모델 자체가 당신의 제품이 아니라는 점입니다. 모델을 둘러싼 스캐폴딩(Scaffolding) — 상태 관리(State management), 실제 데이터(Ground truth)와의 검증, 그리고 정직한 실패 모드(Failure modes) — 이 부분이 거의 모든 실제 엔지니어링 노력이 투입되는 곳이며, 대부분의 데모가 생략하는 부분이기도 합니다.

실제 예약 대화를 어떻게 처리하는지 직접 확인해보고 싶은 분들을 위해, 별도의 가입 없이 이용 가능한 라이브 데모를 준비했습니다: clawvr.com/robin

도움이 된다면 댓글을 통해 위 내용 중 어떤 것이든 더 자세히 설명해 드릴 수 있습니다.