*22개 언어에 대한 네이티브 스크립트 데이터, 12개 언어에 대한 로마자화 데이터, 그리고 번역, 품질 평가 및 복구를 위한 재사용 가능한 G

22개 언어에 대한 네이티브 스크립트 데이터, 12개 언어에 대한 로마자화 데이터, 그리고 번역, 품질 평가 및 복구를 위한 재사용 가능한 GPU 가속 파이프라인을 갖추었습니다.

저자: AI4Bharat — Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan. NVIDIA — Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, Utkarsh Vaidya.

저희는 Nemotron-pretraining-Indic-v1을 소개하게 되어 기쁩니다. 이 모델은 약 2.8조 토큰 규모의 22개 인도어(Indian) 언어를 포괄하며, 이를 생성하는 데 사용된 개방형 GPU 가속 데이터 생성 파이프라인과 함께 곧 공개될 예정입니다. 이 22개 언어는 인도의 헌법에 명시된 언어로, 2011년 인구 조사 기준 인도 국민의 97% 또는 거의 12억 명의 시민을 위한 첫 번째 언어들입니다. NVIDIA가 인도의 최고 공과대학인 IIT Madras 및 그 AI4Bharat 연구소와 협력하여 개발한 이 공개는 모델 빌더들에게 인도어 사전 학습을 위한 상당한 새 자원을 제공합니다. 이 파이프라인은 프롬프트, LLM 워크플로우(workflow), 품질 검사 등 전체 생성 레시피를 포착하므로, 개발자들이 이를 자신의 소스 자료에 맞게 조정하여 필요한 데이터를 더 많이 생성할 수 있습니다.

AI4Bharat는 IIT Madras의 인도어(Indic) 언어 연구소로, 인도 언어를 위한 오픈소스 데이터셋과 모델을 구축하고 있습니다. Sangraha와 같은 자원은 22개 인도 언어에 대한 오픈 사전 학습 코퍼스로서, 개방형 Indic 언어 모델 연구의 기반을 다지는 데 도움을 주었습니다. 이번 공동 오픈소스 공개는 커뮤니티가 사용할 수 있는 합성(synthetic) Indic 학습 데이터의 상당한 확장을 의미합니다. 이 자료는 수학, 코드, 질의응답 콘텐츠를 포함하는 광범위하게 큐레이션된 영어 자료를 인도 언어에 통합하여, 해당 언어로 기술적 개념을 설명하고, 문제 해결 과정을 거치고, 질문에 답할 수 있는 모델을 구축하는 팀들에게 더 많은 학습 자료를 제공합니다. 모든 기록은 큐레이션된 원본 문서로 추적되며, 각 출력물은 입력값과 비교 검증되므로 합성 텍스트가 실제 정보에 기반하도록 유지됩니다.

AI4Bharat의 책임자이자 2025년 TIME100 AI 리스트에 이름을 올린 Mitesh Khapra는 핵심 문제를 다음과 같이 지적했습니다.

우리는 커뮤니티가 단순히 데이터를 재현하는 것을 넘어 이 작업을 더 발전시킬 수 있도록 개방형 생성 레시피를 공유합니다. 팀들은 코퍼스를 직접 사용하거나, 프롬프트 및 품질 검사를 조정하거나, 자체 소스 문서를 워크플로우에 가져올 수 있습니다. 데이터와 프로세스 모두를 공개함으로써, 우리는 대규모 인도어(Indic) 데이터 생성을 더욱 접근하기 쉽게 만들고 더 많은 개발자가 인도 언어 전반의 강력한 모델 구축에 기여할 수 있도록 하는 것을 목표로 합니다.

Nemotron 3.5 Super VL을 위한 지속적인 사전 학습(Continued pretraining)에는 이 코퍼스의 12개 언어 하위 집합과 자연스러운 인도어 텍스트에서 추출된 100억 개의 인도어 토큰이 추가되었습니다. 모델에 대한 기술 보고서에서 전체 이야기를 다룹니다. 우리는 향후 Nemotron 모델에서 이 코퍼스를 활용할 계획입니다.

그림 1. 이 코퍼스는 2,601.0억 개의 네이티브 스크립트 토큰과 224.6억 개의 로마자(romanized) 토큰을 포함합니다. 카운트는 Gemma-4 토크나이저를 사용했습니다. 문서 기록에는 공유된 소스의 번역 및 스크립트 변형이 포함되어 있으며, 고유한 영어 문서의 개수는 아닙니다.

이 코퍼스는 두 가지 언어 구성 그룹을 가지고 있습니다:

네이티브 스크립트 및 로마자 데이터: 벵골어(Bengali), 구자라트어(Gujarati), 힌디어(Hindi), 칸나다어(Kannada), 말라얄람어(Malayalam), 마라티어(Marathi), 네팔어(Nepali), 오디아어(Odia), 펀자브어(Punjabi), 타밀어(Tamil), 텔루구어(Telugu), 우르두어(Urdu).네이티브 스크립트 데이터: 아삼어(Assamese), 보도어(Bodo), 도그리어(Dogri), 카슈미리어(Kashmiri), 콘카니어(Konkani), 마이틸리어(Maithili), 마니푸리어(Manipuri), 산스크리트어(Sanskrit), 산탈어(Santali), 신디어(Sindhi).

여기서 네이티브 스크립트(native-script)는 쓰기 체계를 설명합니다: 텍스트는 여전히 영어에서 번역된 것입니다. 로마자(Romanized)는 영어 번역이 아닌 라틴 스크립트로 작성된 인도어 언어 텍스트를 의미합니다. 12개 이중 스크립트 언어 각각에 대해, 로마자화는 승인된 네이티브 스크립트 번역의 하위 집합을 다룹니다.

이러한 구분은 학습 혼합물(training mixture)을 구성할 때 중요합니다. 원어 기록과 로마자 표기 기록은 서로 다른 스크립트 노출을 제공하지만 동일한 근본 콘텐츠를 표현할 수 있습니다. 토큰 수는 승인된 재작성을 포함하여 보존된 코퍼스(corpus)를 설명하는 것이지, 학습 실행의 토큰 예산(token budget)을 의미하지 않습니다. 또한 카운트는 사용된 토크나이저(tokenizer)에 따라 달라지므로, 코퍼스 인벤토리와 학습 토큰 수는 별도로 읽어야 합니다.

이 코퍼스를 구축하기 위해, 저희는 웹 텍스트, 질의응답 자료, 수학, 코드 및 기타 전문 콘텐츠를 다루는 15개의 Nemotron-CC-v2 서브셋(subset)의 문서를 시작으로 사용합니다. 저희는 NVIDIA의 오픈소스 합성 데이터 생성 프레임워크인 NeMo Data Designer를 사용하여 번역, 품질 검사, 그리고 목표 교정(targeted repair)을 실행합니다. 전체 워크플로우 동안, 개발자들이 출력물을 원래 문서로 추적할 수 있도록 각 소스 식별자(source identifier)를 보존합니다. 이처럼 명확한 출처(provenance)는 오픈 데이터를 감사하고 구축하는 데 실용적인 요소가 됩니다. 그림 2는 열두 개 언어에 대한 워크플로우를 보여줍니다.

그림 2. NeMo Data Designer와 Gemma-4-31B-it을 사용하여 구현된 열두 개 언어용 4단계 Indic 합성 데이터 파이프라인. 저희는 영어 문서를 번역하고, 번역 품질을 평가하며, 낮은 점수의 출력을 교정하고, 승인된 번역의 일부를 라틴 스크립트(Latin script)로 변환합니다. 나머지 열 개 언어는 아래에 설명된 별도의 Indic Translate 워크플로우를 사용합니다.

이 열두 개 언어의 경우, 모델이 단락, 표, 방정식 전반에 걸쳐 문맥을 사용할 수 있도록 문서를 전체적으로 번역합니다. 저희는 완전한 문서에서 모델들을 비교하고, 번역 품질과 기술 콘텐츠 보존 여부를 확인하여 Gemma-4-31B-it을 선택했습니다. 저희의 프롬프트는 코드, 방정식, URL 및 서식(formatting)을 포함하여 번역할 산문(prose)과 보존할 콘텐츠를 구분합니다.

번역 후에는 동일한 모델을 사용하여 각 출력을 영어 원문과 비교 평가합니다. 번역 오류를 유형 및 심각도별로 분류하는 개방형 프레임워크인 Multidimensional Quality Metrics (MQM)에서 영감을 받은 루브릭이 의미, 유창성, 전문 용어, 스타일, 그리고 서식(formatting)을 다룹니다. 우리는 100점 만점에 최소 75점을 받은 출력만 유지합니다 (이는 정확도 비율이 아닌 루브릭 점수입니다). 점수가 낮은 출력의 경우, 평가 피드백을 사용하여 수정을 안내한 후 동일한 기준을 적용하여 재평가합니다. 이 과정을 통해 원어 문자(native-script) 및 로마자 표기 데이터 전반에 걸쳐 4,384억 토큰이 복구되었으며, 이는 이미 코퍼스 총계에 포함되어 있습니다. 의도적으로 오류를 삽입한 샘플 인간 검토와 테스트는 누락된 부분과 남아있는 영어(residual English)를 식별하는 데 도움을 주어, 프롬프트 및 검사 개선에 기여했습니다.

수용된 원어 문자 번역은 또한 로마자 데이터의 시작점도 제공합니다. 우리는 일부 세트를 라틴 스크립트로 변환하고 각 결과를 그 원어 문자 입력과 비교하여 확인합니다. 이는 번역을 스크립트 변환과 분리하는 것입니다. 초기 인간 비교에서, 이 2단계 접근 방식은 영어로부터 로마자 텍스트를 직접 생성하는 것보다 환각적인 추가 내용(hallucinated additions)이 적고 남아있는 영어가 적게 나타났습니다.

나머지 열 개 언어의 경우, 우리는 비교 과정에서 관찰된 장문 품질 및 스크립트 안정성 문제를 해결하기 위해 워크플로우를 조정했습니다. 우리는 IIT Madras에 인큐베이팅 된 비영리 교육 AI 센터인 Bodhan AI의 영어 및 22개 인도어에 대한 문서 수준 번역 모델인 Indic Translate를 사용하여 번역을 수행합니다. 이후 Gemma-4-31B-it가 각 번역을 영어 원문과 비교 평가합니다. 여덟 개 언어의 경우, 우리는 전체 문서 접근 방식을 유지합니다. 더 긴 Santali 문서는 겹치는 창(overlapping windows)으로 번역하고 문서를 재구성하며, Manipuri는 먼저 Bengali 스크립트로 번역한 후 그 원어 문자인 Meitei Mayek로 변환합니다. 이러한 워크플로우는 최소 75점 이상을 받은 출력을 유지하며, 피드백 기반의 재작성 없이 오직 원어 문자 데이터만을 생성합니다.

Nemotron 3.5 Super VL 기술 보고서는 Indic 지속 사전 학습(Indic continued pretraining, CPT) 직전의 체크포인트와 해당 단계 이후의 체크포인트를 비교합니다. 설정된 예산은 1,000억 개의 훈련 토큰이었으며, 이 중 10% (100억 개 토큰)가 합성 및 자연 Indic 텍스트 혼합물에 할당되었습니다. 나머지 90%는 이전 훈련 혼합물의 상대적 비율을 유지했습니다.

MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K의 다섯 가지 보고된 Indic 지식 및 추론 벤치마크에서 점수가 증가했습니다.

그림 3. Nemotron 3.5 Super VL의 Indic CPT 단계 전후 비교. 성능 향상은 4.98%에서 9.82% 포인트에 이릅니다. 이 비교는 합성 및 자연 Indic 데이터를 결합한 훈련 단계를 보고하는 것이며, 합성 코퍼스의 기여도를 분리하여 보고하는 것은 아닙니다. 언어 커버리지는 벤치마크마다 다르며, 이는 최종 모델 출시를 비교하는 것이 아니라 단계별 체크포인트입니다.

출처: Nemotron 3.5 Super VL 기술 보고서, 표 2. GSM8K는 평가가 서비스 컨텍스트 한계를 초과하여 Odia를 제외했습니다.

이러한 성능 향상은 합성 및 자연 Indic CPT 레시피의 결합을 뒷받침하며, 다른 모델과 언어에 대한 혼합물 선택은 추가 연구에 맡깁니다.

동반되는 Indic 보고서는 12개 언어 그룹에 대해 첫 번째 통과 승인 데이터를 사용하여 소스 혼합물, 합성 데이터 풀 크기 및 스크립트 커버리지를 검토합니다. 복구된 재작성(recovered rewrites)을 포함한 전체 코퍼스를 평가하는 것은 이러한 제어 연구의 다음 단계로 남아 있습니다.

CPT 단계 결과 외에, 출시된 모델은 이전 세대와 어떻게 비교되는가? 그림 4는 Nemotron 3.5 Super VL과 Nemotron 3 Super를 Indic 작업 성능 및 언어 품질 전반에 걸쳐 비교합니다. 이러한 결과는 Indic CPT 및 사후 훈련을 포함한 출시된 모델의 전체 훈련 파이프라인을 반영합니다.

Nemotron 3.5 Super는 지식(knowledge), 추론(reasoning), 수학(mathematics), 코드(code), 번역(translation)을 아우르는 여섯 가지 작업 벤치마크 중 다섯 개에서 더 높은 점수를 기록했습니다. IFEval 1.5에서의 명령어 수행 능력은 2.04점 하락했습니다. 또한, 유용성(usefulness), 유창성(fluency), 언어 및 스크립트 충실도(language and script fidelity), 적절한 상세함(appropriate verbosity)의 네 가지 IndiVibe 차원 전반에서 개선되었습니다. IndiVibe는 Sarvam AI가 만든 인도 언어로 된 비서 스타일 프롬프트에 대한 오픈 벤치마크입니다. 이러한 평가들은 모델이 무엇을 할 수 있는지와 인도 언어에서 얼마나 잘 소통하는지를 모두 검토합니다.

그림 4. Nemotron Super 세대별 Indic 작업 성능 및 언어 품질. 왼쪽: 여섯 가지 작업 벤치마크. 오른쪽: 예비 IndiVibe 조건부 선호도 점수이며, 직접적인 일대일 승률은 아닙니다. 레이블은 백분율 포인트의 변화를 보여주며, WMT24++는 chrF 포인트를 사용합니다. 벤치마크 및 평가 세부 정보는 동봉된 Indic 기술 보고서를 참조하십시오.

모델이 필요한 언어와 스크립트로 시작하고, 샘플을 검사한 다음, 데이터셋 카드와 라이선스를 검토한 후 학습을 진행하십시오. 구성은 언어, 스크립트, 지역 태그를 사용합니다. 예를 들어, hi-Deva-IN는 데바나가리(Devanagari)로 된 힌디어(Hindi)를 나타내고, hi-Latn-IN는 로마자 표기된 힌디어를 나타냅니다.

아래 예시는 데이터셋 카드에서 리포지토리 ID를 요청한 다음, 사용 가능한 분할을 발견하고 샘플을 스트리밍합니다.

from datasets import get_dataset_split_names, load_dataset
dataset_id = input("데이터셋 카드에서 가져온 리포지토리 ID: ").strip()
config = "hi-Deva-IN"
...

Hugging Face Datasets는 스트리밍을 지원하여 독자가 전체 코퍼스를 다운로드하지 않고도 레코드를 검사할 수 있습니다. 릴리스가 제공되면 재현 가능한 실험을 위해 데이터셋 버전을 고정하십시오.