e-Milki 구축하기: 지적 장애가 있는 성인을 위한 폴란드어 음성 동반자 (ElevenLabs Agents + Claude +

안녕하세요, 저는 e-Milka입니다. 그리고 저는 e-Milek입니다. 저희는 인간처럼 설명하지만, 사실은 그렇지 않습니다.

e-Milki는 Dobre Państwo Foundation에서 지적 장애가 있는 성인을 위해 구축하고 있는 폴란드어 음성 동반자 두 개입니다. 서류 작업용이 아닙니다. 평범한 하루를 위한 것입니다. 일어나기, 무엇을 입을지, 스토브가 꺼져 있는지, 문이 잠겨 있는지, 어떻게 가야 하는지, 작은 쇼핑, 알람 등 말이죠. 이 프로젝트는 ElevenLabs Impact Program에 선정되었습니다: dobrepanstwo.org/e-milki.

이 게시물은 이것이 어떻게 구축되었는지 그리고 지금까지 무엇을 배웠는지에 관한 것입니다. 아래의 모든 내용은 테스트 데이터로만 실행되며, 실제 사용자를 대상으로 하는 파일럿 프로그램은 2027년 2분기에 시작됩니다.

대화 루프: Claude를 두뇌로 사용하는 ElevenLabs Agents

이 비서(assistant)는 ElevenLabs Agents 플랫폼의 에이전트입니다:

• 듣기 (Listening): 플랫폼의 음성 인식 기능(Scribe).

• 이해하기 (Understanding): 에이전트의 LLM은 Claude Sonnet 5.5입니다. 저희는 더 작고 빠른 모델로 시작했지만, 이 모델은 이해하는 것과 폴란드어 시계 시간 문법 처리에서 어려움을 겪었습니다(폴란드어는 시간 숫자를 활용하며,

• 답변당 최대 세 개의 짧은 문장으로, 한 단계씩 진행합니다.

• 속도를 늦춰달라고 요청받으면 이해 여부를 확인하고 같은 내용을 더 간단하게 반복합니다.

• {{system__time_utc}}에 폴란드 시간대를 더하여 정확한 억양으로 현재 시간을 말합니다.

• 건강 및 금전: 조언을 하지 않고, 항상 신뢰할 수 있는 사람에게 문의하도록 안내합니다.

저희는 먼저 대화의 텍스트 시뮬레이션으로 테스트하고(플랫폼이 사용자를 시뮬레이션할 수 있음), 그 후에 음성으로 진행합니다. 이렇게 하면 에이전트 분량을 절약하고 프롬프트 회귀를 쉽게 파악할 수 있습니다.

웹 페이지: 점으로 그려진 three.js 캐릭터들

이 페이지는 e-Milka와 e-Milek가 두 가지 목소리를 번갈아 가며 자신을 소개하도록 합니다. 접근성을 높이고 가볍게 유지하기 위해 몇 가지 결정을 내렸습니다:

• 콘텐츠 출처 통일. 단일 TypeScript 모듈이 장면 텍스트를 담고 있습니다. 이 파일은 페이지, 크롤러 및 AI 비서용 Markdown 버전, 그리고 나레이션 스크립트에 모두 공급되어 내용들이 분리되지 않도록 합니다.
• 지연 로딩(Lazy) 3D 및 오디오. 페이지 자체는 약 17kB에 불과합니다. three.js 장면(약 455kB)과 사운드는 방문자가 '음성으로 듣기'를 클릭한 후에만 로드됩니다.
• 점들로 만든 캐릭터. 각 화자는 단순한 점 그림이며, 말하는 사람의 입은 알려진 타이밍을 사용하여 나레이션에 맞춰 움직입니다.
• 나레이션 한 번 생성. ElevenLabs 목소리로 나레이션을 렌더링하고 모든 파일을 음성 인식(speech-to-text) 과정을 거쳐 확인하여 'e-Milka'와 같은 이름이 정확하게 나오도록 합니다. 오디오 파일은 URL에 버전 매개변수를 포함하는데, 이는 일주일 동안 캐시되기 때문입니다.
• 조용한 배경. 부드러운 Web Audio 코드가 목소리 아래에서만 재생되며, 각 문장 후에 침묵으로 사라집니다.

파일럿을 통해 배우고 싶은 것

책상에 앉아서는 답할 수 없는 두 가지 질문이 있습니다. 지적 장애가 있는 사람들의 발화를 음성 인식(speech recognition)이 이해할 수 있을지, 그리고 어떤 목소리와 말하기 속도가 그들에게 정말로 이해하기 쉬울지에 대한 것입니다. 이것이 바로 파일럿 프로그램의 목적이며, ElevenLabs Impact Program 지원을 통해 우리가 제대로 테스트하는 부분입니다.

e-Milki를 여기서 들어보세요: dobrepanstwo.org/e-milki

AI의 도움으로 작성되었으며 Dobre Państwo Foundation에서 편집했습니다. e-Milki 목소리는 합성(ElevenLabs)입니다.