저는 튀니지 출신의 18세 독립 학생입니다. 저는 튀니지 다리자(Tunisian Darija)를 위한 오픈 소스 방식의 바닥부터 구축한 기계 번역 (Machine Translation, MT) 파이프라인과 병렬 코퍼스 (Parallel Corpus)를 구축하였으며 이를 이끌고 있습니다. 피드백을 받기 위해 이를 공유합니다.

이유: Arabizi(아랍어 음소에 대해 3/7/9/5와 같은 숫자와 라틴 문자를 사용하는 방식)로 표기되는 튀니지 다리자는 공개된 자연어 처리 (NLP) 리소스가 거의 없습니다. 기존의 아랍어 도구들은 이를 현대 표준 아랍어 (MSA)를 거치도록 처리하여 철자법을 잘못 다룹니다. 제가 아는 바로는 이를 위한 공개 병렬 코퍼스나 바닥부터 구축한 베이스라인 (Baseline)이 없었습니다.

제가 구축한 것 (모두 오픈 소스):

• Arabizi를 인식하는 SentencePiece BPE 토크나이저 (3/7/9/5를 보호된 심볼로 사용), 16k 공유 어휘 사전 (Vocab).
• 약 1,560만 파라미터 규모의 인코더-디코더 (Encoder-Decoder) Transformer, 바닥부터 구축 (사전 학습된 언어 모델 (Pretrained LM) 없음): 정제된 모로코 다리자로부터 전이 학습 (Transfer-learned)한 후, 수작업으로 제작된 튀니지 쌍(Pairs) 데이터로 미세 조정 (Fine-tuned).
• 전체 정제 / 학습 / 평가 (Eval) 파이프라인.

솔직한 결과 및 한계: v1 BLEU 점수는 작은 고정 테스트 세트에서 3.89로 낮으며, 이 점을 솔직하게 말씀드립니다. 코퍼스가 약 553개의 수작업 쌍으로 구성되어 있어, 병목 현상은 아키텍처 (Architecture)가 아닌 데이터에서 발생합니다. 저는 3.89를 코퍼스가 성장함에 따라 극복해야 할 첫 번째 솔직한 베이스라인으로 간주합니다.

향후 계획: 저는 이를 제가 큐레이션하고, 동의 문서가 작성된 현장 수집을 통해 검증하며, 모든 쌍에 출처 태그가 붙은, 윤리적으로 수집된 더 큰 규모의 다리자 코퍼스로 확장하고 있습니다. 품질과 동의 기준을 유지하기 위해 모든 기여를 검토하며, 이를 성장시키는 데 도움을 줄 기여자들을 찾고 있습니다.

찾고 있는 것: 기술적 피드백/비평, 그리고 데이터를 기여하거나 저자원 (Low-resource) / 방언 아랍어 MT에 협업하는 데 관심 있는 모든 분.

링크:
github 저장소: https://github.com/Dhiadev-tn/darija-translator
Hugging faces 데이터셋: https://huggingface.co/datasets/Dhiadev-tn/tunisian-darija-english
hugging faces 모델: https://huggingface.co/Dhiadev-tn/darija-translator
/u/Dhiadev-tn 님이 r/MachineLearning 에 제출함
[link] [comments]