우리는 대규모 다국어 TTS (Text-to-Speech) 시스템을 위한 로마자 전사 기반의 텍스트-음성 변환 (TTS) 인코더인 UR-BERT를 제안합니다. 기존의 자소-음소 변환 (G2P, Grapheme-to-Phoneme) 기반 방식은 신뢰할 수 있는 G2P 리소스의 가용성 문제로 인해 약 100개 언어 정도로 제한됩니다. 이와 대조적으로, UR-BERT는 다양한 문자 체계를 공유된 로마자 표기 (Romanization) 표현으로 통합함으로써 495개 언어까지 확장 가능합니다. 음성적 충실도 (Phonetic fidelity)와 텍스트-음성 정렬 (Text-speech alignment)을 더욱 향상시키기 위해, 우리는 학습 과정에서 음성 토큰 예측 (Speech token prediction) 목적 함수를 도입하였으며, 이는 인코더가 데이터 효율적인 방식으로 음성을 인식하는 음성 인지적 음소 표현 (Speech-aware phonetic representations)을 학습하도록 유도합니다. 실험 결과, UR-BERT를 기반으로 구축된 TTS 시스템은 광범위한 언어 및 리소스 조건에 걸쳐 최근의 텍스트 인코더 베이스라인 (Baselines) 모델들을 일관되게 능가하며, 학습되지 않은 언어에 대해서도 강력한 일반화 (Generalization) 성능을 보여줍니다.