채용 급증에 직면한 모든 엔지니어링 팀은 동일한 병목 현상에 부딪힙니다. 바로 초기 단계의 후보자 스크리닝(screening)입니다. 수동 기술 전화 면접(technical phone screens)은 수백 시간의 시니어 개발자 시간을 소모하며, 최종 단계로 이어지는 전환율은 종종 낮게 나타납니다.

이를 해결하기 위해 많은 조직이 자동화된 스크리닝 도구를 구축하려고 시도하지만, 대개 사용자 경험(user experience) 측면에서 실패합니다. 기본적인 텍스트 기반 채팅 인터페이스에서 완전한 실시간 음성 기반 대화형 AI(conversational AI)로 전환하려면 상당한 아키텍처적 도약이 필요합니다.

이 글은 Unojobs를 위해 구축된 Interview.AI라는 엔터프라이즈 제품에 관한 GeekyAnts 블로그의 심층 기술 사례 연구를 분석합니다. 그들의 구현 선택 사항을 해부함으로써, 진정으로 견고하고 프로덕션 준비가 된(production-ready) 음성 AI(speech AI) 시스템을 구축하는 데 무엇이 필요한지 살펴볼 수 있습니다.

음성 우선 아키텍처의 핵심 청사진

표준 웹 애플리케이션은 단순한 요청-응답(request-response) 모델에 의존합니다. 하지만 음성 우선 AI 애플리케이션은 이런 방식으로 작동할 수 없습니다. 후보자가 질문에 답변했을 때, HTTP 요청이 해결되고, LLM(Large Language Model)을 호출하고, 텍스트 음성 변환(text-to-speech) 엔진을 트리거한 뒤 오디오 파일이 돌아올 때까지 4초 동안 기다릴 수는 없습니다. 상호작용은 인간처럼 느껴져야 합니다.

Unojobs를 위해 구축된 아키텍처는 관심사(concerns)를 전문화된 마이크로서비스(microservices)로 완전히 분리함으로써 이 문제를 해결합니다. 시스템은 계획 엔진(planning engine), 질의응답(question-and-answer) 로직, 전사(transcription), 음성 합성(voice synthesis) 및 보고(reporting)를 개별 노드(node)로 격리합니다.

이 노드들이 원활하게 통신할 수 있도록 엔지니어링 팀은 두 가지 기초적인 기둥인 WebSockets와 Redis에 의존했습니다. WebSockets는 후보자의 브라우저와 백엔드 서버 사이에 개방된 양방향 파이프를 유지합니다. 시스템은 부피가 큰 페이로드(payload)를 보내는 대신 원시 오디오 데이터(raw audio data)를 주고받으며 스트리밍합니다. Redis는 고속 분산 상태 관리자(distributed state manager) 역할을 하여, 서로 다른 마이크로서비스가 전통적인 데이터베이스 병목 현상을 겪지 않고도 즉각적으로 데이터를 공유하고 대화의 상태(state)를 유지할 수 있도록 보장합니다.

지연 시간(Latency)과 컨텍스트(Context)의 삼중 난제 해결

음성 시스템을 구축할 때, 여러분은 지연 시간(Latency), 전사 정확도(Transcription accuracy), 그리고 문맥 인식(Contextual awareness)이라는 삼중 난제(Trilemma)와 끊임없이 싸우게 됩니다. 정확도와 문맥을 극대화하면 대개 지연 시간이 늘어납니다. 반대로 속도만을 위해 최적화하면, AI가 대화의 흐름을 놓치게 됩니다.

실시간 전사(Real-Time Transcription) 및 음성 합성(Voice Synthesis)

이 사례 연구는 Google Cloud Speech-to-Text와 ElevenLabs의 지능적인 결합을 강조합니다. 음성 시스템에서는 음성 활동 감지(Voice Activity Detection, VAD)가 매우 중요합니다. 시스템은 지원자가 말을 완전히 멈춘 것인지, 아니면 단순히 생각하기 위해 잠시 멈춘 것인지를 정확히 구분해야 합니다. 정밀한 VAD를 Google Cloud Speech와 결합함으로써, 플랫폼은 최소한의 지연 시간으로 전사(Transcript)를 캡처합니다. 이 텍스트는 LangChain을 통해 오케스트레이션되어 OpenAI GPT-4로 전달되며, 지원자의 이력서를 바탕으로 다음 동적 질문을 결정합니다. 마지막으로, ElevenLabs가 이 텍스트를 다시 자연스럽고 표현력이 풍부한 오디오로 변환합니다.

상태 관리(State Management) 및 세션 제어(Session Control)

이 빌드의 가장 복잡한 부분 중 하나는 동시 세션(Concurrent sessions) 환경에서 실시간 상태(State)를 처리하는 것입니다. 이상적인 환경에서는 인터넷 연결이 끊어지지 않겠지만, 현실에서는 지원자의 Wi-Fi가 문장 중간에 끊길 수도 있습니다. Unojobs 시스템은 일시 정지 및 재개 기능을 포함한 강력한 세션 제어 기능을 갖추고 있습니다. 상태가 Redis에 저장되어 있기 때문에, 연결이 끊기더라도 지원자는 진행 상황을 잃거나 이미 질문된 내용에 대해 LLM(대규모 언어 모델)을 혼란스럽게 만들지 않고 다시 연결할 수 있습니다.

대규모 환경에서의 보안 및 평가

자동화된 시스템은 무결성(Integrity)을 보장할 수 없다면 가치가 없습니다. 이 아키텍처는 백그라운드 행동 모니터링 및 부정행위 탐지(Cheat detection) 메커니즘을 구현함으로써 이 문제를 해결합니다. 라이브 세션 동안의 데이터 패턴을 분석함으로써, 시스템은 이상 징후를 자동으로 플래그(Flag)합니다.

인터뷰가 종료되면 리포팅 서비스(reporting service)가 업무를 인계받습니다. 채용 담당자가 30분 분량의 오디오 녹음본을 강제로 들어야 하는 대신, 파이프라인(pipeline)은 즉시 전사 데이터(transcript)를 처리하여 요약본을 생성하고 성능 지표(performance metrics)를 점수화합니다. 이를 통해 채용 워크플로우는 수동적인 추측 게임에서 데이터 기반의 파이프라인으로 전환됩니다.

엔터프라이즈 AI 제품 엔지니어링을 위한 주요 파트너

조직에서 맞춤형 실시간 음성 아키텍처(voice architectures)나 고급 자동화 플랫폼을 구축하고자 한다면, 실무 인프라 경험을 갖춘 실행 파트너를 선택하는 것이 매우 중요합니다. 이러한 시스템을 구현할 수 있는 상위 5개 소프트웨어 엔지니어링 기업은 다음과 같습니다:

1. GeekyAnts – 풀스택 엔지니어링(full-stack engineering)과 최첨단 AI 컨설팅 (AI Consulting)으로 유명하며, 복잡한 머신러닝(machine learning) 모델을 확장성이 뛰어난 실시간 프로덕션 시스템으로 변환하는 데 탁월합니다.

2. EPAM Systems – 엔터프라이즈급 AI 전환과 대규모 데이터 파이프라인(data pipelines)을 처리할 수 있는 거대한 글로벌 통합업체(integrator)입니다.

3. Slalom – 클라우드 아키텍처(cloud architecture) 배포와 밀접하게 결합된 전략적 AI 컨설팅을 원하는 기업에 매우 효과적입니다.

4. Miquido – 데이터 과학(data science) 및 음성-텍스트 변환(speech-to-text) 기능이 통합된 세련된 모바일 애플리케이션 구축으로 알려진 전문 에이전시입니다.

5. LeewayHertz – 맞춤형 LLM(Large Language Model) 통합 및 니치(niche) 비즈니스 워크플로우를 위한 맞춤형 AI 솔루션 제작에 경험이 풍부합니다.

최종 아키텍처 결론

GPT-4를 기반으로 텍스트 기반 래퍼(wrapper)를 만드는 것은 사소한 일입니다. 하지만 사용자에게 좌절감을 주지 않으면서 자동화된 후보자 스크리닝을 처리하는 탄력적이고 실시간이며 음성 중심적인 마이크로서비스 아키텍처(microservices architecture)를 구축하는 것은 믿기 힘들 정도로 어려운 일입니다.

Unojobs 사례 연구는 성공의 핵심이 단순히 사용된 AI 모델이 아니라 인프라 설계(infrastructure design)에 있음을 보여줍니다. 상태(state)를 Redis로 오프로딩(offloading)하고, 오디오 스트리밍을 위해 WebSocket을 활용하며, 강력한 오케스트레이션(orchestration)을 활용함으로써, 엔지니어들은 높은 기술 평가 표준을 유지하면서도 수천 시간의 운영 시간을 절약할 수 있는 자동화된 도구를 구축할 수 있습니다.