MultiSynt/MT: 36개 언어로 번역된 1조 개 토큰 규모의 다중 병렬 사전 학습 데이터

요약

36개 유럽 언어로 구성된 4.8조 토큰 규모의 오픈 합성 병렬 코퍼스인 MultiSynt/MT를 소개합니다. 이 데이터셋은 기존 네이티브 데이터 대비 훨씬 적은 토큰으로도 대등하거나 더 높은 성능의 다국어 LLM 학습을 가능하게 합니다.

핵심 포인트

• 36개 유럽 언어 대상 4.8조 토큰 규모의 합성 병렬 코퍼스 구축
• 기존 HPLT 2.0 대비 약 72% 적은 토큰으로 유사 성능 달성
• 동일 학습 예산 조건에서 HPLT 2.0 대비 성능 약 15% 향상
• LLM-as-judge를 통한 번역 유창성 평가의 중요성 확인
• 다국어 사전 학습 및 평가 연구를 위한 행 정렬 데이터 공개