제가 만들고자 했던 사람들을 이해하지 못하는 음성 모델에서 모든 것이 시작되었습니다. 대안을 찾아보면서, 그리고 아프리카 언어 연구와 실제로 사용 가능한 제품 사이의 거리가 회사를 설립할 가치가 있다고 생각하게 된 계기를 발견했습니다.
Sauti Labs는 회사 설립 계획이 아니라 실질적인 문제에서 출발했습니다.
2026년 7월, 저는 교회 예배를 듣고 언급된 성경 구절을 화면에 표시하는 오프라인 시스템인 Scribe AI를 구축하고 있었습니다. 이 모든 것은 음성 인식(speech recognition)에 의존했으며, 이를 위해 OpenAI의 Whisper를 사용했습니다.
시스템이 처리해야 하는 아프리카 언어와 억양에서 이 모델은 저에게 실망감을 주었습니다.
저는 대안을 찾아보았습니다. 'Coverage Is Not Capability: What Whisper Taught Me About African Speech'에서 설명했듯이, Whisper의 학습 데이터는 영어에 크게 집중되어 있습니다. 스와힐리어(Swahili)는 약 5시간 분량의 전사된 음성으로 등장하는 반면, 이 작업에 저를 처음 끌어들인 언어인 돌루오(Dholuo)는 지원되는 언어 목록에서 빠져 있었습니다.
저는 접근하고 통합하며 신뢰할 수 있는 모델을 원했습니다. 그 검색 과정은 예상보다 오래 걸렸고, 제가 찾던 것을 변화시켰습니다.
이미 존재하던 분야에 도착하다
제가 배운 첫 번째 사실은 제가 심도 있고 지속적인 작업이 이미 진행되고 있는 곳에 늦게 도착했다는 것이었습니다.
아프리카 언어의 자연어 처리(NLP) 연구를 강화하는 데 초점을 맞춘 풀뿌리 커뮤니티인 Masakhane은 수년 동안 오픈 데이터셋, 모델, 벤치마크를 구축해 왔습니다. 예를 들어, 이들의 MasakhaNER 프로젝트는 코드와 모델과 함께 10개 아프리카 언어를 포괄하는 대규모 공개 개체명 인식(Named-Entity Recognition, NER) 데이터셋을 공개했습니다.
더 가까운 지역에서는 마세노 응용 AI 센터(Maseno Centre for Applied AI)가 게이츠 재단(Gates Foundation)의 주요 자금 지원을 받는 아프리카 언어 음성 데이터셋 구축 다국가 노력인 African Next Voices의 일환으로 돌루오를 포함한 5개 케냐어권에서 음성 데이터를 수집하고 있습니다.
남아프리카 공화국에서 Lelapa AI는 제품을 직접 구축합니다. 이 회사의 Vulavula 플랫폼은 isiZulu나 Sesotho 같은 언어로 콜센터 대화를 전사(transcribe)하고 번역합니다. 또한 연구원들은 다섯 개 아프리카 언어를 위한 소규모 언어 모델인 InkubaLM도 공개했습니다.
글로벌 연구소들 역시 노력을 확장하고 있습니다. Meta의 음성 모델은 현재 1,600개 이상의 언어를 지원한다고 주장합니다.
이것은 아직 발견되지 않은 분야가 아닙니다. 이면에는 수년간의 어렵고 종종 자원이 부족했던 작업들이 쌓여 있으며, 제가 구축하는 모든 것은 그 기반 위에 서 있습니다.
제가 계속 부딪히는 간극
그럼에도 불구하고, 구체적인 문제를 가진 개발자로서 저는 같은 간극에 계속 부딪혔습니다.
데이터셋은 존재했지만, 제 사용 사례(use case)에 맞춰 훈련된 모델은 없었습니다.
모델 목록에는 제 언어가 있었지만, 오류율은 제품이 필요로 하는 수준과는 거리가 멀었습니다.
작동하는 모델도 있었지만, 라이선스가 상업적 사용을 금지했거나 사용자들이 갖추지 못한 하드웨어를 요구했습니다.
존재했던 제품들은 특정 언어와 시장을 중심으로 합리적으로 구축되어 있었습니다. 이것이 제품이 시작해야 하는 방식이지만, 그럼에도 불구하고 제가 필요로 하는 음성은 여전히 미개척 상태였습니다.
시간이 지나면서 그 경험은 확신으로 굳어졌습니다. 저는 때때로 직설적으로 말합니다. 아프리카는 또 다른 학회 논문을 필요로 하지 않습니다. 사람들에게 접근 가능하고 가장 효율적이며 자연스러운 방식으로 작동하는 제품을 필요로 합니다.
제가 무엇을 의미하는지 명확히 해야 합니다. 이 발언이 연구에 대한 비판처럼 읽히기 쉽지만, 그렇지 않습니다.
논문(Papers), 데이터셋(datasets), 그리고 벤치마크(benchmarks)는 한 분야가 무엇이 효과적인지 배우는 방식입니다. 이것들이 없다면 제품이 기반을 삼을 것이 아무것도 없습니다. 연구와 제품 개발은 반대되는 개념이 아닙니다.
제 요점은 작업이 어디에서 멈추는가에 대한 것입니다.
지식은 누군가가 그 지식을 마지막까지 전달할 때 가장 큰 효과를 발휘합니다. 즉, 실제 음성으로 훈련된 모델로, 개발자가 호출할 수 있는 인터페이스 뒤에 서비스되고, 기업이 배포할 수 있도록 패키징되었으며, 상대방이 기술 자체를 인지하지 못할 만큼 충분히 좋게 만들어지는 과정입니다.
마지막 구간은 종종 아무도 담당하지 않는 영역입니다.
제가 집중하고 싶은 바로 그 부분이 바로 이 구간입니다.
왜 음성인가? (Why Speech?)
저는 사람들이 AI 및 디지털 서비스 전반과 상호작용하는 주요 방식 중 하나가 될 것이라고 믿기 때문에 음성과 목소리를 선택했습니다. 하지만 많은 아프리카 언어들은 역설적으로 이러한 상호작용을 가능하게 하는 시스템들에서 여전히 충분히 대표되지 못하고 있습니다.
이러한 저대표성은 단순한 기술적 불편함을 넘어섭니다. 이는 사람들이 무엇을 구축할 수 있는지에 한계를 만듭니다.
자신의 커뮤니티를 위한 음성 서비스(예: 클리닉 라인, 농민 대상 자문 서비스, 지역 사업체를 위한 지원 에이전트)를 만들고자 하는 개발자는 그 밑바탕에 역량 있는 모델이 없다면 이를 신뢰성 있게 구축할 수 없습니다.
또한 이는 사람들이 서비스를 이용하는 방식과 기술을 얼마나 자연스럽게 말로 접촉할 수 있는지까지도 결정합니다.
오늘날 아프리카 언어로 생성된 AI 음성을 들을 때, 저는 종종 그 격차를 듣습니다. 약간 부정확한 발음, 다른 사람의 억양, 또는 실제 화자의 리듬이 없는 전달 방식입니다.
최근에 본 어떤 것이 이 문제의 심각성을 구체적으로 느끼게 해주었습니다. 그것은 말하는 능력을 잃은 사람이 자신의 목소리 합성 버전으로 다시 소통할 수 있게 해주는 시스템 시연이었습니다.
ElevenLabs의 Impact Program과 같은 프로그램들은 ALS와 같은 질병을 앓는 사람들에게 음성 복원 지원을 제공합니다.
저에게 남았던 것은 기술적 성취 자체, 그것이 아무리 인상적이라 할지라도가 아니었습니다. 그 사람이 되찾은 것이었습니다.
저는 이 시스템이 아직 말하지 못하는 언어를 가진 사람에게는 그에 상응하는 것이 무엇을 의미할 수 있을까라는 질문을 던지게 되었습니다.
제가 나아가고자 하는 방향 (What I’m Building Towards)
ElevenLabs는 연구 결과를 유용한 제품으로 끌고 가는 가장 명확한 예시 중 하나입니다.
이 회사의 작업 범위는 음성 생성(speech generation), 목소리 복제(voice cloning), 더빙, 대화형 에이전트(conversational agents)에 걸쳐 있습니다. 저에게 영감을 주는 것은 단 하나의 모델이라기보다는 그 제품들이 사람들에게 할 수 있게 해주는 것들의 폭 자체입니다.
저는 Sauti Labs가 진지한 기술적 작업과 유용한 제품 사이의 연결고리를 만들기를 바랍니다. 이 연결고리는 기존 시스템이 설계되지 않은 언어, 억양, 설정에 초점을 맞추며, 그러한 환경이 가져오는 언어적, 사회적, 기술적 난제들을 포함합니다.
Sauti Labs는 AI 연구 및 제품 회사입니다. 저희의 연구 영역은 음성(speech), 언어(language), 언어 자원(language resources), 모델 지능(model intelligence), 그리고 책임 있는 AI(responsible AI)에 걸쳐 있습니다.
저희의 목표는 단일한 기능 이상을 포괄합니다:
- 음성 인식 (Speech recognition)
- 자연어 음성 합성 (Natural speech synthesis)
- 음성 복제 및 더빙 (Voice cloning and dubbing)
- 대화형 시스템 및 음성 에이전트 (Conversational systems and voice agents)
- 데이터셋 및 모델 (Datasets and models)
- 이러한 기술을 개발하고 배포하는 데 필요한 인프라
또한, 특정 언어에 국한되지 않습니다.
Dholuo는 제가 이 분야에 오게 된 계기가 되었지만, 저희의 작업은 일반적으로 아프리카 언어를 대상으로 합니다.
이러한 역량들은 모든 제품이나 시스템이 이미 완성되었다는 주장이 아니라 하나의 방향성을 나타냅니다. 여전히 구축하고, 테스트하고, 학습해야 할 부분이 매우 많습니다.
저는 저보다 앞서 온 커뮤니티와 회사들로부터, 그리고 이 작업 자체를 통해 배우고 있습니다.
위험을 감수하는 이유?
음성 및 언어 AI는 비용이 많이 들고 연구 집약적입니다. 데이터, 컴퓨팅 파워(compute), 자금, 전문 지식, 시간이 필요하며—이는 이러한 문제를 명확하게 인식하고 있음에도 불구하고 충분한 자원을 갖추지 못한 많은 젊은 아프리카인들에게 해당되는 정확한 자원들입니다.
저는 그럼에도 불구하고 이 위험을 감수하기로 결정했습니다.
저는 이 문제들이 제한된 자원으로 시작할 가치가 있을 만큼 중요하다고 믿습니다. 또한, 저와 같은 사람들이 다른 언어 및 환경에 맞춰 이미 설계된 기술을 단순히 수신하는 사람들 중이 아니라, 이러한 시스템을 구축하는 사람들 중 하나가 되기를 원합니다.
이는 작업이 쉽다는 주장도 아니며, 확신만으로 충분하다는 의미도 아닙니다. 역량 있는 음성 시스템을 구축하려면 엄격한 연구, 엔지니어링, 평가, 그리고 지속적인 투자가 필요합니다.
하지만 어려움이 문제를 무시할 이유가 될 수는 없습니다.
저는 아프리카 언어들이 미래의 AI에 온전히 참여하기를 바랍니다.
그것이 바로 Sauti Labs가 존재하는 이유입니다.
참고 자료 및 추가 읽을거리
Masakhane — 아프리카 언어 자연어 처리(NLP) 분야의 연구 및 커뮤니티 활동.
MasakhaNER: 아프리카 언어를 위한 개체명 인식(Named Entity Recognition, NER) — Adelani 등(2021), Transactions of the Association for Computational Linguistics.
African languages for AI: 거대한 새로운 데이터셋을 수집하는 프로젝트 — The Conversation.
Lelapa AI — 아프리카 언어 AI 연구 및 제품.
InkubaLM: 저자원(Low-Resource) 아프리카 언어를 위한 소형 언어 모델(Small Language Model) — arXiv.
Omnilingual ASR: 1,600개 이상의 언어를 위한 오픈소스 다국어 음성 인식(Speech Recognition) — arXiv.
대규모 약한 지도 학습을 통한 강력한 음성 인식(Robust Speech Recognition via Large-Scale Weak Supervision) — Radford 등, The Whisper 논문.
ElevenLabs 임팩트 프로그램 발표 — ElevenLabs.
Sauti Labs 소개: Sauti Labs는 아프리카 언어 음성 및 언어 기술을 더욱 유용하고, 접근 가능하며, 배포할 수 있도록 만드는 것을 목표로 하고 있습니다. 장기적인 목표는 아프리카 전역의 언어를 포괄하는 연구, 모델, 데이터셋 및 제품에 걸쳐 있습니다.