대부분의 음성 에이전트(Voice agents)는 침묵을 측정함으로써 사용자가 말을 마쳤는지 판단합니다. 음성 활동 감지(Voice activity detection, VAD)가 오디오를 음성인지 아닌지로 분류하고, 음성이 아닌 동안 타이머가 작동하며, 타이머가 임계값(threshold)을 넘어서면 턴(turn)이 종료되고 생성(generation)이 시작됩니다.

이는 합리적인 첫 번째 아키텍처(architecture)입니다. 하지만 대화가 더 자연스러워질수록 상황이 악화되는 측면에서 잘못된 방식이기도 합니다.

실패 양상은 다음과 같습니다. 누군가 말을 하는 동안 생각을 합니다. 문장 중간에 멈춤(pause)이 발생하는데, 이는 사람들이 생각을 읽어 내려가는 것이 아니라 구상할 때 하는 행동이기 때문입니다. 이 멈춤이 임계값을 넘어서게 됩니다. 시스템은 턴을 종료하고 응답을 시작하며, 사용자는 생각하는 도중에 기계에 의해 말을 끊기게 됩니다.

즉각적으로 떠오르는 해결책은 임계값을 높이는 것입니다. 턴이 끝났다고 판단하기 전에 더 오래 기다리는 것이죠.

여기서 기록해 둘 만한 부분이 있습니다. 임계값을 높이는 것은 하나의 실패를 더 나쁜 실패와 맞바꾸는 것입니다. 대화에서의 지연 시간(Latency)은 매끄러운 비용 곡선을 그리지 않습니다. 특정 지점 아래에서는 사람들이 지연을 전혀 인지하지 못합니다. 하지만 그 지점을 넘어서면 사람들은 시스템이 느리다고 인지하며, 음성 인터페이스에서의 느림은 시각적 지연(visual latency)과는 다른 방식으로 고장 난 것처럼 느껴집니다. 왜냐하면 스피너(spinner)도, 로딩 상태(loading state)도, 기계가 살아있음을 나타내는 그 어떤 것도 없기 때문입니다. 음성 에이전트의 침묵은 실패와 구별할 수 없습니다. 따라서 중단을 막기 위해 임계값을 높이면, 제품을 실제처럼 느끼게 만들었던 요소를 잃게 됩니다.

튜닝 범위의 양 끝단 모두 나쁩니다. 이것이 문제의 실제 형태이며, 임계값 튜닝(threshold tuning)이 어떤 값에서도 정답이 될 수 없는 이유입니다.

도움이 된 관점의 전환은 다음과 같습니다: 침묵은 이토록 중요한 결정을 내리기 위한 가용 신호 중 가장 약한 신호이며, 순수 VAD (Voice Activity Detection, 음성 활동 감지) 방식이 사용하는 유일한 신호라는 점입니다. 인간은 시간적 간격(timing gaps)을 통해 발화 종료를 감지하지 않습니다. 우리는 구절이 종결되었는지와 같은 통사론 (syntax)을 사용합니다. 운율 (prosody)을 통해 피치(pitch)가 종결 곡선(terminal contour)으로 떨어졌는지 아니면 떠 있는 상태(suspended)로 유지되는지를 확인합니다. 의미론 (semantics)을 통해 말한 내용이 답변하기에 충분히 완결되었는지를 판단합니다. 우리는 상대방이 말을 마쳤는지에 대해 지속적인 예측을 수행하고 있으며, 상대방이 실제로 말을 멈추기 전부터 우리의 응답을 준비하기 시작합니다.

이는 다른 아키텍처 (architecture)가 필요함을 시사합니다. 침묵 시 작동하는 타이머 대신, 부분 전사 (partial transcript)에 대해 발화가 완료되었을 확률을 출력하는 경량 엔드포인팅 (endpointing) 모델을 실행하고, 침묵을 전체 결정의 근거가 아닌 하나의 입력값으로 활용하십시오. 종결된 구절 뒤의 서서히 사라지는 일시 정지와 구절 중간의 일시 정지는 VAD에게는 동일한 이벤트이지만, 텍스트를 읽는 모든 것에게는 완전히 다른 이벤트입니다.

두 번째 요소는 감지 (detection)와 확정 (commitment)을 분리하는 것입니다. 발화 종료 예측은 단일하고 되돌릴 수 없는 결정일 필요가 없습니다. 확률적인 엔드포인트에서 생성을 시작하고, 사용자가 다시 말을 하면 저렴한 비용으로 취소할 수 있습니다. 이는 어려운 분류 (classification) 문제를 부드러운 (soft) 문제로 전환하며, 부드러운 문제는 틀리는 것을 허용합니다.

이 중 해결된 것은 아무것도 없습니다. 끼어들기 (Barge-in) 처리, 취소 비용 (cancellation cost), 그리고 사용자가 응답 도중에 말을 할 때 발생하는 문제 등은 모두 제 쪽에서도 여전히 미결 과제로 남아 있으며, 저는 이 문제들을 결론으로 깔끔하게 정리한 후보다는 미결 상태일 때 이에 대해 쓰고 싶습니다.

만약 실시간 음성 서비스를 출시했다면, 실제 운영 환경에서 귀하의 엔드포인팅이 실제로 어떻게 구현되어 있는지, 특히 예측이 조기에 발생하여 이미 생성이 시작되었을 때 어떻게 대처하는지 듣고 싶습니다.