결과
8.8M+
연간 처리된 주문 수
200B+
프로덕션에서 처리된 AI 토큰 수
↑50%
수동 주문 입력 감소율
2x
인력 추가 없이 영업 팀 생산성 향상
Choco(새 창에서 열림) 는 미국, 영국, 유럽, GCC 를 포함한 전 세계 21,000 개 이상의 유통업체와 100,000 개 이상의 구매자를 서비스하며 식료품 및 음료 유통을 현대화하는 AI 기반 플랫폼입니다. 레스토랑, 공급업체, 유통업체를 통합 시스템으로 연결함으로써 Choco 는 식료품 공급망 전반의 주문, 판매, 고객 관리 프로세스를 간소화합니다.
주문량이 증가함에 따라 Choco 는 주요 병목 현상에 직면했습니다: 주문은 여전히 이메일, 문자, 음성 메시지, 이미지, 그리고 손글씨 메모를 통해 도착했습니다. 팀들은 이러한 입력을 구조화된 ERP 주문으로 수동으로 변환했는데, 이는 느리고 오류가 많은 프로세스로 규모 확장에 한계를 두고 지속적인 운영 마찰을 야기했습니다.
"그런 입력 처리는 첫 번째 장벽이었지만 가장 어려운 것은 아니었습니다. 진정한 문제는 암묵적 컨텍스트였습니다: 고객별 SKU 매핑, 단위 선호도, 배송 패턴 등. 해당 지식은 주문 데스크 대리인들 머릿속에 있었으며, 우리는 주문 포착 지점에서 모호성을 해결하는 추론 레이어로 이를 인코딩해야 했습니다."
프로덕션 준비형 LLM 의 등장으로 Choco 는 워크플로우 소프트웨어를 넘어 직접 작업을 실행할 수 있는 AI 시스템을 구축할 기회를 보게 되었습니다. OpenAI API 는 그 변혁의 핵심이 되었습니다.
Choco 는 플랫폼의 핵심에 OpenAI API 를 통합하여 새로운 세대의 AI 기반 제품을 구동했습니다. 회사는 OrderAgent(새 창에서 열림) 를 도입했는데, 이는 이메일, SMS, 이미지, 문서 등을 포함한 멀티모달 입력을 처리하고 구조화된 ERP 준비 주문으로 변환합니다.
"전사 및 추출 기능은 강력한 기초를 제공했습니다. 진정한 엔지니어링 도전 과제는 시스템이 각 고객의 주문 역사와 카탈로그에 대해 모호성을 해결할 수 있는 동적 컨텍스트 학습 인프라를 구축하는 것이었습니다. 이것이 자동화와 지능의 차이입니다."
Choco 는 또한 OpenAI 의 Realtime API 를 기반으로 한 VoiceAgent(새 창에서 열림) 을 개발했는데, 이는 고객이 영업 시간 외에도 초단위 지연 없이 전화로 자연스럽게 주문을 할 수 있게 합니다.
OpenAI 는 모델 성능, 멀티모달 기능, 구조화된 출력 및 대규모 프로덕션 신뢰성으로 선정되었습니다. 텍스트, 비전, 오디오를 단일 생태계 내에서 처리할 수 있는 능력은 Choco 가 이전에 연결되지 않은 워크플로우를 하나의 지능형 시스템으로 통합하게 했습니다.
구현은 빠르고 확장 가능했습니다. OpenAI 의 SDK 와 API 를 사용하여 Choco 는 음성 인식, 임베딩, 함수 호출 등의 기능을 인프라에 빠르게 통합했습니다. 팀은 또한 정확성과 프로덕션 성능을 보장하기 위해 ground-truth 데이터셋, 지속적인 모니터링, A/B 테스트를 포함한 엄격한 평가 프레임워크를 구축했습니다.
도입은 전체 주문 워크플로우에 걸친 원활한 통합으로 추진되었습니다. 고객들은 주문 방식을 변경할 필요 없이 전화, 문자, 이메일을 통해 시스템이 자신들에게 적응했습니다.
- 연간 880 만 건 이상의 주문 처리, 수백만 건의 수동 워크플로우 제거
- 수동 주문 입력 감소율 최대 50% 달성, 팀이 더 높은 가치 작업을 위해 자유롭게 작동 가능
- 인력 추가 없이 팀 규모 확장 가능 (2 배 생산성 향상)
- 자동화 임계값을 설정하여 오류율을 1~5% 미만으로 유지
- 야간 및 주말 지연 없이 24 시간 주문 수취 지원
1 일부터 평가 시작: 작은 ground-truth 데이터셋 (10~20 개의 예제) 만으로도 팀은 진척도를 측정하고, 개선점을 검증하며, 확신을 가지고 반복할 수 있습니다.
AI 네이티브 관측성 투자: AI 시스템 디버깅은 전통적인 로그 이상의 것을 요구합니다. 모델 입력값, 출력값, 추론 추적 (reasoning traces) 을 포착하는 것은 성능을 이해하고 개선하는 데 필수적입니다.
조기에 올바른 기대치 설정: 결정론적 소프트웨어와 달리 LLM 은 확률적입니다. 팀과 사용자에게 이 차이를 교육하는 것은 신뢰 구축과 도입 과정에서 마찰을 피하는 데 핵심입니다.
Choco 는 식품 분배 생태계 전반에 걸쳐 AI 능력을 확장하며, 에이전트가 복잡한 운영 워크플로우를 실행하는 역할을 심화하고 있습니다. AI 시스템이 더 많은 책임을 맡으면서, Choco 는 비즈니스 성과를 주도하는 지능형 시스템을 설계하고 관리하는 '에이전트 오케스트레이터'라는 새로운 사용자 계층을 지원합니다.
앞으로 Choco 는 판매, 상거래, 공급망 운영 전반에 걸쳐 더 자율적이고 컨텍스트 인지 시스템의 사용을 확대하여 워크플로우 소프트웨어에서 AI 기반 실행 인프라로의 전환을 계속할 것입니다.
