Parloa builds service agents customers want to talk to

Parloa 의 초기 단계에서 공동 창업자 Stefan Ostwald 는 보험 콜 센터 내부에 하루를 보냈습니다. 그의 팀이 초기 음성 경험을 구축하고 있던 곳입니다. 그는 에이전트들과 함께 앉아서 같은 대화들이 반복적으로 재생되는 것을 들었습니다: 비밀번호 재설정, 정책 질문, 일상적인 변경 사항. 그는 많은 작업이 자동화될 수 있다는 것을 깨달았습니다.

그 경험 이후 베를린 기반의 Parloa(opens in a new window) 는 고 부피 고객 상호 작용을 자동화하기 위해 규칙 기반 음성 에이전트를 구축하기 시작했습니다.

ChatGPT 의 등장으로, 회사는 현재 AI Agent Management Platform (AMP) 을 구축하기 시작했으며, 이는 GPT‑5.4 를 포함한 새로운 세대의 모델 위에 구축되었습니다.

AMP 는 기업들이 규모에 맞게 고객 서비스 상호 작용을 설계하고 배포하며 관리할 수 있는 방법을 제공합니다. 엄격한 인텐트와 플로우를 매핑하는 대신, 팀은 자연어로 행동을 정의하고 내부 시스템과 연결하며 내장된 시뮬레이션 및 평가를 사용하여 빠르게 반복합니다.

Parloa 는 이러한 상호 작용을 엔드 투 엔드로 실행하며 단순 라우팅부터 복잡한 다단계 요청까지 모든 것을 처리합니다. 초점은 프로덕션에서의 일관성으로, 성능, 지연 시간 및 에지 케이스 모두 중요합니다. 이를 위해 Parloa 는 배포 전에 실제 고객 시나리오에 대해 모델을 지속적으로 테스트합니다.

"모델이 생산에서 작동하지 않는다면 그 모델은 의미가 없습니다. 우리는 OpenAI 와 함께 모델을 실시간 대화에 충분히 빠르고 신뢰할 수 있도록 만드는 방법을 어떻게 하는지에 대해 협력합니다."라고 말했습니다.

Parloa 의 Agent Management Platform (AMP) 은 비즈니스 사용자 및 주제 전문가가 코드를 작성하지 않고 AI 에이전트를 구축할 수 있도록 설계되었습니다.

"AMP 를 통해 우리는 다른 비즈니스 단위에서 주제 전문가들이 실제로 에이전트를 구축하고 API 를 훨씬 더 간결하고 단순하게 연결할 수 있습니다,"라고 O'Reilly 는 말했습니다.

고수준에서 AMP 는 브랜드가 전체 AI 에이전트 라이프사이클을 관리할 수 있도록 허용합니다. 그것은 비기술 팀이 라이브에 가기 전에 에이전트가 어떻게 행동해야 하는지를 정의하는 더 쉬운 방법을 제공함으로써 이를 수행합니다. 코드를 작성하거나 엄격한 인텐트 트리를 매핑하는 대신, 주제 전문가들은 에이전트의 역할, 지침, 도구 및 경계를 자연어로 설정합니다. 해당 구성은 모델이 프롬프트되는 방식과 시스템이 프로덕션에서 작동하는 방식의 기초가 됩니다.

정의된 후 에이전트는 배포 전에 테스트됩니다. Parloa 는 GPT‑5.4 와 같은 모델을 사용하여 고객 대화를 시뮬레이션하며, 하나의 모델이 호출자 역할을 하고 다른 모델이 설정된 에이전트를 실행합니다. 팀은 이러한 상호 작용을 직접 검사하고 실제 시나리오에 대한 변경 사항을 테스트하여 라이브에 가기 전에 반복할 수 있습니다.

동일한 모델은 결정적 확인과 LLM-as-a-judge 점수를 혼합하여 해당 대화를 평가하는 데 사용됩니다. 이는 에이전트가 지침을 따랐는지, 도구를 올바르게 사용했는지, 그리고 작업을 예상대로 완료했는지를 보여줍니다.

라이브 대화 중 AMP 의 오케스트레이션 레이어는 에이전트 구성과 대화 컨텍스트를 사용하여 OpenAI 모델에 프롬프트하여 응답을 생성하거나 RAG 를 통해 정보를 검색하거나 고객 백엔드와 상호 작용하기 위해 도구를 트리거합니다. Parloa 는 실제 세계 성능에서 명확한 이득을 보일 때 최신 세대의 모델을 사용하여 해당 레이어를 지속적으로 업데이트합니다.

대화 후, 별도의 OpenAI 기반 워크플로우가 상호 작용을 요약하고 고객 인텐트를 분류하며 정의된 규칙에 대해 성능을 평가합니다.

에이전트가 더 복잡해짐에 따라 단일, 모노리식 프롬프트를 유지하는 것이 어려워졌습니다. 작은 변화도 의도하지 않은 부작용을 초래할 수 있습니다. 이를 해결하기 위해 Parloa 는 모듈형 접근 방식을 도입했습니다. 인증, 예약 변경, 계정 업데이트와 같은 작업은 별도의 서브 에이전트로 분리하여 지시 따름을 개선하고 시스템을 시간이 지남에 따라 더 쉽게 진화하게 할 수 있습니다.

동시에,该平台은 신뢰성이 가장 중요한 결정적 제어 기능을 통합합니다. 기업은 구조화된 API 연쇄와 이벤트 기반 논리를 정의하여 중요한 단계가 올바른 순서로 발생하도록 보장할 수 있으며, 대화의 유연성과 예측 가능한 실행을 균형 있게 유지할 수 있습니다.

Parloa 는 에이전트가 라이브에 진입하기 전에 실제 고객 상호작용을 시뮬레이션하기 위해 GPT-4.1, GPT-5-mini 와 같은 모델을 사용하며, LLM-as-a-judge 와 결정적 규칙의 조합으로 이러한 상호작용을 평가합니다. 이는 팀이 에지 케이스를 테스트하고 빠르게 반복하며 실패에 노출되기 전에 성능을 검증할 수 있게 합니다.

Parloa 는 일관성이 능력만큼이나 중요한 대규모 기업과 주로 협력합니다.

"새로운 모델이 나오면 우리는 벤치마킹 스위트对它运行," Senior Applied Scientist인 Matthäus Deutsch 가 말합니다. "우리는 이론적 벤치마크뿐만 아니라 실제 실용 사례에서도 작동하지 않는 것이 매우 중요합니다."

Parloa 는 추상적 벤치마크에 의존하는 대신 실제 생산 에이전트를 복제하고 시뮬레이션 및 평가 파이프라인을 통해 실행합니다. 이러한 테스트는 지시 따름 신뢰성, API 호출 일관성, 지연 시간 및 실제 조건 하의 전반적인 성능을 측정합니다.

이러한 평가는 프로덕션에 적합한 모델을 결정합니다. 실제 고객 시나리오에서 신뢰성 있게 수행되는 모델만 배포됩니다.

"기업 고객은 실제 마이그레이션 비용을 겪습니다," Deutsch 가 말합니다. "시스템이 프로덕션에서 작동하면 그들은 그것을 안정적으로 유지하고 명확한 이득이 있을 때만 전환합니다."

결과적으로, 시스템은 규모에서도 예측 가능하게 행동하며, 대부분의 대화는 마찰 없이 해결됩니다. 인간 에이전트에 전화가 라우팅되더라도, 승급은 거의 실패로 인해 발생하지 않습니다. 하나의 배포에서 글로벌 여행 회사는 인간 에이전트 요청을 80% 줄였습니다.

이러한 평가 우선 사상은 Parloa 가 신뢰성을 희생하지 않고 빠르게 움직일 수 있도록 핵심 차별점이 되었습니다.

음성은 텍스트 기반 채팅보다 다른 제약 조건을 도입합니다. 모든 상호작용은 저지연 파이프라인을 통해 실행됩니다: 음성 인식, 모델 추론, 텍스트 음성 변환.

이 파이프라인은 지연 시간을 결정적으로 만듭니다. 모델 레이어의 작은 지연도 호출자에게 눈에 띄는 휴지를 만들어 모델 선택 및 최적화에 영향을 줍니다.

Parloa 는 실시간 사용 사례를 위해 성능을 최적화하기 위해 OpenAI 와 긴밀히 협력하며, 지연 시간, 응답 품질 및 지시 따름에 집중합니다. 팀은 라이브 고객 상호작용에 배포하기 전에 새로운 모델 이터이션을 프로덕션 유사 환경에서 평가하고 스트레스 테스트합니다.

Parloa 는 음성 스택의 각 구성 요소를 독립적으로 평가합니다:

Speech-to-text 시스템은 특히 정책 번호나 계정 식별자 같은 민감한 입력에 대한 단어 오류율 (word error rate) 을 기준으로 테스트됩니다.Text-to-speech 모델은 실제 사용자가 얼마나 자연스러운 목소리를 느끼는지 평가하기 위해 맹음 경청 테스트 (blind listening tests) 를 통해 평가됩니다. 그 결과는 실제 고객 상호작용과 비교되어 프로덕션 환경에서 일관된 성능을 보장합니다.

이러한 시스템들은从一开始부터 글로벌 배포를 위해 구축되었습니다. 벤치마크는 여러 언어에 걸쳐 있으며, 고객은 전 세계적으로 다양한 지역에서 운영되고 있습니다. 이러한 다국어 엄밀성은 Parloa 의 유럽 기원과 기업 고객의 기대를 반영하며, 단일 언어 또는 지역뿐만 아니라 전 시장에서도 일관된 성능을 요구합니다.

오늘날, Parloa 의 에이전트는 소매업, 여행업, 보험업 등 다양한 산업에서 수백만 회 대화 처리하고 있으며, 지원 자동화부터 전화 쇼핑과 같은 수익 창출 흐름까지 다양한 사용 사례를 지원합니다.

Parloa 는 고객 서비스가 완전히 멀티모달 경험으로 진화하고 있다고 봅니다.

대화에는 전화로 시작하여 채팅으로 이어지고, 중간에 링크나 인터랙티브 요소를 포함할 수 있습니다. 각 단계를 별도의 플로우로 취급하는 대신, AMP 는 이를 단일 상호작용으로 처리하도록 설계되었습니다. 시간이 지남에 따라 AI 에이전트는 웹사이트와 모바일 앱만큼 고객 여정 (customer journeys) 에 핵심적인 역할을 할 것입니다.

기업들이 고객 상호작용의 성장하는 부분을 자동화함에 따라, Parloa 는 글로벌 규모에서 운영되도록 AI 에이전트를 신뢰할 수 있고, 유연하고, 신뢰할 수 있는 수준으로 만드는 데 집중하고 있습니다.