Nemotron-Personas-Japan: ソブリン AI のための合成データセット

実世界分布に基づいた日本人ペルソナのための複合 AI アプローチ

高品質で多様なトレーニングデータなしに、日本文化を真に理解する AI を構築することはこれまでほぼ不可能でした。これを変えるため、NVIDIA は、日本の人口統計、地理的分布、文化的特性に沿ったペルソナを含む初のオープン合成データセット、Nemotron-Personas-Japan を公開しました。CC BY 4.0 ライセンスのもと提供される本データセットは、機微な個人データに依存することなく日本社会を反映した AI システム構築のための、プライバシー保護と規制対応を両立した基盤を提供します。

NVIDIA のエンタープライズ向け合成データ生成システム、NeMo Data Designer を用いて作成された Nemotron-Personas-Japan は、すでに広く利用されている US Personas データセットの成功を機に日本版として開発されました。本リリースは、各国・地域におけるソブリン AI 開発を支援する合成ペルソナデータセットとデータ構築方法のグローバルコレクションの第一弾です。

本データセットは、Nemotron モデルをはじめとするオープンソースの 大規模言語モデル (LLM) とシームレスに連携するよう設計されており、企業向けチャットボットから各種ドメインの AI エージェントに至るまで、日本語 AI アプリケーション向けのファインチューンを容易に行えるようになっています。

• 合計
  600 万件（各レコードにつき 6 ペルソナ、100 万レコード）の自然な日本語で記述されたペルソナ 1 レコードあたり 22 項目：6 つのペルソナ関連項目と、公式の人口統計・労働統計に基づいた 16 のコンテキスト項目総トークン数約 14 億：そのうち約 8 億 5000 万がペルソナ関連トークン約 95 万件の固有の名前：合成データ生成で前例のない多様性 - 日本の労働力を反映した
  1500 以上の職種カテゴリー - 人口・地域・性格特性軸を
  網羅的にカバー 多様なペルソナタイプ：職業、スポーツ、芸術、旅行、料理自然言語によるペルソナ属性：文化的背景、スキルと専門性、キャリア目標・志向、趣味や関心CC BY 4.0 ライセンスに基づき、商用・非商用を問わず利用可能

NVIDIA の合成データ生成用マイクロサービスである NeMo Data Designer を用いて構築されています。この複合 AI システムは、複雑な Jinja テンプレート、Pydantic による検証、構造化出力、自動リトライ、および複数の生成バックエンドのサポートを可能にします。これらは、このような大規模な合成データセットの生成に必要なツール群です。さらに、以下のモデルも活用しています。

• 統計に基づいた生成を実現するための
  確率的グラフィカル モデル（Apache-2.0） - 日本語文章生成のための
  GPT-OSS-120B（Apache-2.0）

日本の文化的背景の反映

Nemotron-Personas-Japan は、日本の公的な人口統計および労働統計に整合するよう設計されると同時に、AI トレーニングにおいて重要な以下の点を考慮して生成されました：

教育：国の統計で学位レベルが一括分類されている場合、モデルが異なる教育経路を反映できるよう、より細かい区分を導入しました。職業：トレーニングに使用する職業の幅を広げるため、追加カテゴリー（事業主や専門職種など）を組み込みました。ライフステージ：統計上ではあまり表に出ない学生、退職者、失業状態といったシナリオをモデル化し、より現実的なペルソナを表現できるようにしました。文化的特性：日本の社会的・文化的特徴を組み込み、AI システムが地域固有の規範をより適切に反映できるようにしました。デジタル デバイド：年齢層ごとのデジタルリテラシーの差を考慮し、日本における実際のテクノロジー利用状況を反映しました。

プライバシーを保護した設計

このデータセットには、個人を特定できる情報（PII）は一切含まれていません。年齢、名前、職業などは公的な統計データの分布に基づいていますが、存命・故人問わず、実在の人物と結びつくことはありません。全てのペルソナは完全に人工的に生成されているため、実際の文化的パターンを保ちながらも、個人のプライバシーを損なうことなくトレーニングに利用できます。

Nemotron-Personas-Japan は、日本のソブリン AI システムを開発する日本のモデル開発者向けに設計されています。現在、LLM 開発者が使用する訓練データのほとんどは英語であり、日本やインドなど各地域の開発者は、母国語で高品質なデータを入手するのに苦労しています。

本データセットを含め、NVIDIA の Nemotron-Personas の一連の取り組みは、こうした課題を直接解決するものです。地域固有のニュアンスを捉えつつ、開発者が地域固有の言語で多様かつ複雑なデータを生成できるようサポートします。データセットは国勢調査データ、日本人の命名規則、文化的特徴など地域のコンテキストに基づき、すべて母語で生成しています。

そのため、日本で自分たちのモデルの採用を拡大し、日本の文化的コンテキストを理解したい すべての AI モデルの開発者の方々のお役に立てれば幸いです。

本データセットに含まれる合成ペルソナを以下のようなことに活用できます：

멀티턴 대화 합성：페르소나를 '시드'로 활용하여 인간적인 대화 데이터셋을 생성합니다. 도메인 고유 AI 어시스턴트 개발: 문화적 고려가 가능한 AI 어시스턴트를 구축하기 위한 데이터셋을 생성합니다. 바이어스 테스트와 공정성: 모델이나 AI 에이전트 시스템이 지역과 도시, 다른 연령대, 혹은 다양한 교육 수준 등 어디에 걸쳐 어떻게 기능하는지 평가하여 일본 사회의 모든 계층에 대해 공평하게 작동하는 AI 를 실현합니다.

AI 개발에는 실제 세계의 사람들을 반영한 다양하고 고품질의 훈련 데이터에 대한 접근성이 오랫동안 과제였습니다. 기업용 AI 개발은 프라이빗 데이터가 주류가 되어, 연구자, 스타트업, 그리고 특히 이용 가능한 데이터가 적은 지역의 AI 개발자들에게 장벽이 되었습니다.

데이터의 다양성: 일본 전체 인구 계층을 반영하여 편향된 학습이나 모델 붕괴를 방지합니다. 문화적 신뢰성: 서구 중심 데이터셋에 대한 의존도를 줄여 주권 AI 시스템 개발을 지원합니다. 프라이버시와 컴플라이언스: 일본의 개인정보보호법 (PIPA) 요구사항 및 미래의 AI 거버넌스를 충족합니다.

Nemotron-Personas-Japan 을 CC BY 4.0 의 조건으로 공개함으로써 기업 수준의 고품질 합성 데이터에 대한 접근성을 가능하게 하여, 기존의 비용, 프라이버시 우려, 지리적 제약 등의 장벽 없이 문화적 배경을 정확하게 반영한 AI 시스템을 누구나 구축할 수 있게 했습니다.

다음 명령어로 이 데이터셋을 다운로드할 수 있습니다. 일본 문화와 언어를 진정으로 이해하는 AI 개발에 도움이 될 것입니다.

from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Personas-Japan")

본업용 애플리케이션 구축을 위한 활용 사례:

• 페르소나를 대화 생성의 시드로 활용하는 것
• 문화적 배경을 반영한 데이터로 모델을 파인튜닝하는 것
• 일본 인구 구성 전체를 반영하는 개인화된 엔진을 구축하는 것
• 일본의 컨텍스트를 갖춘 도메인 특화형 AI 에이전트를 개발하는 것

일본에서 주권 AI 를 개발하는 모델 개발자부터 더 광범위한 지역에서의 활용을 목표로 하는 글로벌 개발자까지, Nemotron-Personas-Japan 데이터셋은 애플리케이션에 필요한 본격적이고 프라이버시에 고려된 기반을 제공합니다.