대화를 나누는 두 사람 사이에는 차례가 바뀔 때 약 200밀리초 (milliseconds) 정도의 간격이 발생합니다. 그 간격은 언어, 문화, 전화 회선을 막론하고 놀라울 정도로 일관적입니다. 이는 대략 0.2초에 해당하며, 우리는 이에 매우 민감하게 반응합니다.

이 간격을 0.5초로 늘리면 상대방이 망설이는 것처럼 들립니다. 1초까지 늘리면 상대방이 주의가 산만하거나 당신의 말을 듣지 못한 것처럼 느껴집니다. 그러면 당신은 같은 말을 반복하기 시작할 것입니다.

저는 지난주에 AI 음성 에이전트(AI voice agent)의 그 간격을 측정하는 데 시간을 보냈습니다. 측정 결과는 **1,107밀리초 (milliseconds)**였습니다.

"느린 느낌이 들어요"라는 버그 보고가 무용지물인 이유

저도 그런 버그 보고를 작성해 본 적이 있습니다. 아마 여러분도 그럴 것입니다. 문제가 발생한 원인이 바로 '느낌'이기 때문에, 그렇게 말하는 것이 정말로 할 수 있는 전부일 때가 있습니다. 그리고 느낌은 대시보드(dashboards)에 나타나지 않습니다.

무엇이 이를 어렵게 만드는지 설명하겠습니다. 누군가 음성 비서가 느리다고 말할 때, 그들이 의미하는 바는 적어도 완전히 다른 네 가지일 수 있습니다:

• 답변을 시작하는 데 시간이 오래 걸림.
• 답변은 빨랐지만 횡설수설함 (rambled).
• 문장 중간에 계속 멈췄다가 다시 시작함.
• 사용자의 말을 가로챔 (talked over).

이것들은 네 가지 별개의 결함이며 네 가지 별개의 해결책이 필요하지만, 전화 중인 사람에게는 거의 동일하게 느껴집니다. 더 나쁜 것은, 우리가 소프트웨어를 모니터링하기 위해 통상적으로 사용하는 시스템에서도 이들은 동일하게 보인다는 점입니다. 똑같은 수치들이 나타나며, 그중 틀린 것은 없지만, 유용한 것도 없습니다.

그래서 저는 이들을 구분할 수 있는 무언가를 만들었습니다.

우리가 측정하고 있었던 것, 그리고 놓치고 있었던 것

AI 시스템을 모니터링하는 거의 모든 도구는 특정한 형태를 가정합니다. 질문을 던지면 답변을 받고, 도구는 그 사이의 시간을 측정하는 방식입니다. 이는 챗봇 (chatbot)에게는 완벽하게 좋은 모델입니다.

음성은 그렇게 작동하지 않습니다. 두 사람 모두 내내 통화 중입니다. 당신은 말을 끊을 수 있습니다. AI가 당신의 말을 끊을 수도 있습니다. 당신의 차례가 끝나고 AI의 차례가 시작되는 명확한 순간이란 없습니다. 그 경계는 두 사람이 생각 없이 끊임없이 서로 협상 (negotiate) 해나가는 영역입니다.

이는 가장 중요한 측정 지표, 즉 당신이 침묵 속에서 기다린 시간이 얼마나 되는지를 기존 도구들이 심지어 이름조차 붙이지 못한 영역에 놓입니다.

그래서 저는 이것을 그려봤습니다.

The silence between speakers, drawn as an amber gap

파란색은 말하는 사람을, 보라색은 에이전트를 나타냅니다. 중간의 호박색 띠는 침묵이며, 이 시간이 지속되는 동안 밀리초(milliseconds)가 카운트됩니다.

저는 이것이 유용한 부분이 될 것이라고 예상하지 못했습니다. 디버깅 보기로 만들어졌었거든요. 하지만 그 숫자가 올라가는 것을 보며 기다리는 것은 백분위수 차트를 읽는 것과는 다른 무언가를 전달합니다. 바로 당신은 그것에 대해 '읽는' 것이 아니라 '느끼게' 됩니다. 2초의 침묵은

숫자는 어떤 숫자가 허용 가능한지 결정했을 때 비로소 유용해집니다. 그래서 저는 단순히 기분 좋게 느껴지는 반올림된 숫자가 아니라, 각각의 이유를 담아 6가지 항목을 적어 내려갔습니다:

다섯 번째 항목이 제가 가장 좋아하는 것이며, 결론에 도달하기까지 가장 오래 걸린 항목입니다. 상대방이 얼마나 자주 같은 말을 다시 해야 했는가? 이는 지연 시간 (latency)이나 토큰 수 (token count)의 문제가 아니라, 대화가 실제로 제대로 작동했는지에 대한 문제입니다. 누군가가 _"아니요, 다른 걸 말한 거예요"_라거나 _"다시 말씀해 주시겠어요?"_라고 말한다면, 한 턴(turn) 전의 무언가가 실패했다는 뜻입니다. 이는 누군가에게 설문 조사를 요청하지 않고도 제가 찾아낼 수 있었던, 이해도 (understanding)를 측정하는 가장 근접한 방법입니다.

내가 틀렸던 부분

저는 이 모든 것을 시뮬레이터 (simulator)를 대상으로 구축했습니다. 왜냐하면 단 세 번의 수동 테스트 통화만으로는 대시보드 (dashboard)를 설계할 수 없기 때문입니다. 저는 좋은 성능이란 무엇인지에 대한 제 믿음에 따라, 답변이 약 250밀리초 (milliseconds) 내에 시작되도록 시뮬레이터를 조정했습니다.

그러고 나서 이 모든 것을 실제 Gemini Live 에이전트 (agent)에 적용해 보았습니다.

1,107밀리초 (milliseconds). 제가 하루 종일 설계해 온 세상보다 3~4배나 더 느렸습니다.

Real sessions plotted against the simulated baseline

주황색 선이 현실입니다. 그 아래의 두 평평한 선은 제가 가정했던 값들입니다.

숫자가 일치하도록 시뮬레이터를 조용히 수정할 수도 있었습니다. 하지만 저는 그대로 두었습니다. 왜냐하면 그 격차 자체가 바로 발견 (finding)이기 때문입니다. 또한, 당신이 이미 믿고 있는 것만을 확인해 주는 도구는 도구가 아니라 장식품에 불과하기 때문입니다.

또한, 이 도구는 35개의 자동화된 테스트(automated tests)가 놓쳤던 제 측정 코드 내의 실제 버그 두 개를 찾아내기도 했습니다. 이는 그 자체로 작은 교훈을 줍니다. 테스트는 코드가 제가 지시한 대로 작동하는지를 확인했을 뿐입니다. 오직 실제 데이터만이 제가 지시한 내용이 맞는지 확인해 주었습니다.

만약 당신이 이런 시스템을 구축하고 있다면

일주일 전의 저에게 해주고 싶은 세 가지 조언이 있습니다.

지속 시간(duration)이 아니라 침묵(silence)을 측정하세요. 전체 대화가 얼마나 걸렸는지는 거의 무관합니다. 사람이 _무언가_를 듣기 전까지 얼마나 기다렸는지가 거의 전부입니다. 이 둘은 서로 다른 숫자이며, 오직 하나만이 사람들이 당신의 에이전트(agent)와 대화하는 것을 즐길지 여부를 예측합니다.

단순히 방해가 발생했는지뿐만 아니라, 어디서 발생하는지를 기록하세요. 횟수는 무언가 잘못되었다는 것을 알려줍니다. 분포(distribution)는 무엇이 잘못되었는지를 알려줍니다.

편안하다고 느껴지는 시점보다 더 일찍 현실을 마주하세요. 저는 단 한 번의 실제 통화로 바로잡을 수 있었을 가정(assumptions)들 때문에 하루를 허비했습니다. 시뮬레이터(simulator)는 유용했지만, 단지 실제와는 달랐을 뿐입니다.

이 모든 것은 사실 AI에 관한 것이 아닙니다. 대화에는 우리 모두가 인지하지 못한 채 따르는 규칙이 있으며, 기계가 그 규칙을 어길 때 우리는 즉각적으로 알아차린다는 사실에 관한 것입니다. 200밀리초(millisecond)의 간격. 누군가 말을 가로챌 때 양보하는 것. 이미 이해된 내용을 반복하지 않는 것.

우리는 이러한 시스템이 올바른 단어를 말하도록 만드는 데는 매우 능숙해졌습니다. 타이밍(timing)을 맞추는 것은 별개의 문제이며, 현재 우리 대부분은 그것을 측정조차 하지 않고 있습니다.

도구는 오픈 소스(open source)로 공개되어 있으며, 3분짜리 데모도 함께 제공됩니다:
github.com/preethamresearch/cadence
·

SigNoz 에이전트 해커톤(Agents of SigNoz hackathon)을 위해 제작되었습니다. 본인이 작성하였으며, 코드 작성 및 이 포스트의 편집을 위해 AI 어시스턴트를 사용했음을 제출물에 명시하였습니다.