Nemotron-Personas-Finance-Japan: 일본의 인구통계 및 금융 환경을 담은 합성 데이터셋

실제 분포에 기반한 일본 페르소나를 위한 복합 AI 접근 방식

금융 부문에서는 엄격한 개인정보 보호 규정, 컴플라이언스 요구 사항, 그리고 고급 도메인 전문 지식 때문에 실제 데이터를 활용하는 데 상당한 제약이 따릅니다. 이러한 맥락에서, 금융 영역의 에이전트형 AI(agentic AI) 개발은 다양한 현실적인 금융 시나리오를 재현하기 위해 인구 통계, 가구 구조 및 자산 상태를 반영하면서도 실제 데이터 사용의 위험을 피할 수 있는 합성 데이터를 필요로 합니다.

이러한 문제들을 해결하기 위해 Elith와 NVIDIA는 오픈소스 페르소나 데이터셋 "Nemotron-Personas-Japan"의 금융 도메인 확장 버전인 Nemotron-Personas-Finance-Japan을 출시했습니다. 당사가 아는 한, 이 데이터셋은 일본의 공식 통계와 가계 금융 및 금융 이해도 데이터를 결합한 백만 건 규모의 최초 공개 페르소나 데이터셋입니다. 공식 정부 통계를 기반으로 구축되었으며, 합성 데이터 생성(SDG)을 위한 확률적 그래프 모델 프레임워크인 NeMo SDG-PGMs와 기업용 합성 데이터 생성 시스템인 NeMo Data Designer를 사용하여 개발되었습니다. 나아가, 금융 사용 사례에서 이 데이터셋의 실질적인 유용성을 높이기 위해 Sompo Japan, Tokio Marine Holdings, Bank of Fukuoka, Mizuho Financial Group, Meiji Yasuda Life Insurance, 그리고 금융 데이터 활용 협회(FDUA) 등 국내 주요 금융 기관 및 산업 협회로부터 제공된 통찰력과 피드백을 통합하여 설계되었습니다.

이 데이터셋은 일본의 개발자와 기업이 실제 고객 데이터를 사용하지 않고도 지역 및 산업 요구 사항에 맞춰진 AI를 개발하고 평가할 수 있는 환경을 확장합니다.

CC BY 4.0 라이선스로 공개되어 상업적 사용이 가능합니다. 대화형 에이전트 구축부터 고객 시뮬레이션 및 모델 평가에 이르기까지, 실질적인 금융 AI 개발을 지원합니다. Nemotron-Personas 컬렉션은 Nemotron-Personas-Finance-Japan를 포함하며, 사용자 시뮬레이션 프레임워크인 NeMo User Sim과 원활하게 통합되도록 설계되어 실제 세계와 일치하는 다양한 분포에서 추출된 시뮬레이션을 즉시 실행할 수 있게 합니다.

총 9M 페르소나(1M 레코드 x 각 9 페르소나)로 구성되었으며, 자연스러운 일본어로 작성되었습니다. 레코드당 50개 필드: 공식 인구 통계 및 노동 통계를 기반으로 한 9개의 페르소나 필드, 11개의 페르소나 속성, 그리고 30개의 상황적(contextual) 필드를 포함합니다. 총 약 1.5B 토큰, 여기에는 약 750M의 페르소나 토큰이 포함됩니다. 약 950k 개의 고유 이름과 일본 노동력을 반영하는 1600개 이상의 직업 카테고리를 갖추고 있습니다. 인구통계, 지역, 자산 분포, 성격 특성 축 전반에 걸쳐 포괄적인 커버리지를 제공합니다.

다양한 페르소나 유형: 직업, 스포츠, 예술, 여행, 요리, 금융, 금융 행동, 그리고 재정적 관심사를 포함합니다. 자연어 페르소나 속성: 문화적 배경, 기술 및 전문 지식, 경력 목표 및 열망, 취미 및 관심사, 가구/부모/재정적 배경, 돈에 대한 태도, 금융 계획 등을 다룹니다. CC BY 4.0 라이선스 하에 상업용 및 비상업용 모두 사용 가능합니다.

이 데이터셋은 NVIDIA의 합성 데이터 생성 프레임워크인 NeMo Data Designer를 사용하여 구축되었습니다. 이 복합 AI 시스템은 복잡한 Jinja 템플릿팅, Pydantic 유효성 검사(validation), 구조화된 출력(structured outputs), 자동 재시도(automated retries) 기능을 가능하게 하며 여러 생성 백엔드(generation backends)를 지원합니다. 이는 이러한 대규모 합성 데이터셋을 생성하는 데 필수적인 도구 세트입니다. 또한, 다음 모델들이 활용되었습니다:

NeMo SDG-PGMs (Apache-2.0): 통계적으로 근거가 있는 데이터 생성을 위한 확률적 그래프 모델 프레임워크
gemma-4-31B-it (Apache-2.0): 일본어 텍스트 생성을 위해

Nemotron-Personas-Finance-Japan은 일본의 공식 인구통계 및 노동 통계를 준수하도록 설계되었으며, AI 학습에 필수적인 주요 고려 사항들을 반영했습니다:

학력(Education): 국가 통계가 학위 수준을 광범위하게 집계하는 것과 달리, 모델이 다양한 교육 경로를 반영할 수 있도록 더 세밀한 수준으로 도입했습니다.
직업(Occupation): 훈련에 사용되는 직업군 스펙트럼을 넓히기 위해 사업주 및 전문직과 같은 추가 카테고리를 통합했습니다.
생활 단계(Life Stages): 학생, 은퇴자, 실업 기간 등 통계에서 눈에 띄게 나타나지 않는 시나리오를 모델링하여 보다 현실적인 페르소나를 표현했습니다.
가계 재정(Household Finances): 개인 소득 및 지출 성향 외에도 다양한 경제적 배경을 재현하기 위해 가구 수준의 금융 자산 및 실물 자산을 통합했습니다.
디지털 및 금융 문해력(Digital & Financial Literacy): 인터넷 및 스마트폰 사용과 함께 금융 문해력을 포함함으로써, 모델이 금융 활용 사례에서 소비자 프로필을 정확하게 포착할 수 있도록 했습니다.

모든 페르소나는 완전히 합성된 데이터입니다. 실제 개인을 나타내지 않으며, 이 데이터셋은 사생활 침해 위험을 줄이도록 설계되었습니다. 인구통계 및 가계 재정은 공식 통계 및 공공 설문조사 데이터를 따르며, 이름은 실제 일본의 명명 패턴을 따릅니다. 페르소나는 실제 사람에 대한 기록에서가 아니라 이러한 분포를 기반으로 구축됩니다.

Nemotron-Personas-Finance-Japan은 일본에서 금융 AI를 개발하는 팀들, 은행 및 보험사, 그리고 이들을 지원하는 스타트업 및 통합 솔루션 제공업체를 위해 우선적으로 구축되었습니다. 각 페르소나는 인구통계 정보와 함께 가계 재정 상태 및 금융 이해도를 담고 있습니다. 팀들은 이를 활용하여 고객 서비스 에이전트를 구축하고, 영업 대화/마케팅 활동을 평가하며, NeMo User Sim에서 사용자 시뮬레이션을 실행하고, 고객 접점 AI에 대한 레드팀(red-team) 테스트를 수행할 수 있습니다.

또한 이 공개 자료는 일본 사용자를 대상으로 하는 모든 사람들에게 유용합니다. 이 데이터셋은 Nemotron-Personas-Japan보다 50% 많은 9M개의 페르소나를 포함하며, 22개 필드 대신 50개 필드를 다룹니다. 이는 일본어 프로젝트가 인구 집단을 더 세밀하게 나누어 학습하고 테스트할 수 있도록 합니다.

이 데이터셋의 합성 페르소나는 다음 용도로 활용될 수 있습니다:

다중 턴 대화(Multi-turn conversation): 페르소나를 '시드'로 사용하여 인간과 같은 대화 데이터셋을 생성합니다.도메인 특화 AI 개발: 금융 사용 사례의 현실적인 시나리오에 맞춰진 AI 비서 구축을 위한 데이터셋을 생성합니다.편향성 및 공정성 테스트(Bias testing and fairness): 모델 및 AI 에이전트 시스템이 농촌과 도시 간 격차, 다양한 연령대, 교육 배경, 경제적 상황 전반에서 어떻게 성능을 보이는지 평가하여 일본 사회 전반에 걸쳐 AI가 일관되게 작동하는지 확인합니다.

실제 인구를 반영하는 다양하고 고품질의 훈련 데이터에 접근하는 것은 오랫동안 AI 개발의 어려움이었습니다. 기업용 AI 개발은 주로 사설 데이터(private data)에 의존해 왔으며, 이는 연구원, 스타트업, 특히 사용 가능한 데이터가 제한적인 지역의 AI 개발자들에게 장벽을 만들었습니다.

데이터 다양성(Data Diversity): 일본 인구의 전체 스펙트럼을 반영하여 편향된 훈련과 모델 붕괴 위험을 줄이는 데 도움이 됩니다.문화적 진정성(Cultural Authenticity): 서구 중심 데이터셋에 대한 의존도를 낮추고 주권 AI 시스템(Sovereign AI systems) 개발을 지원합니다.개인 정보 보호 및 거버넌스(Privacy and Governance): 일본의 혁신 우선 AI 거버넌스 접근 방식과 일치합니다. 모든 페르소나는 합성 데이터이므로, 구축하거나 테스트하는 데 고객 데이터가 필요하지 않습니다.

CC BY 4.0 라이선스 하에 Nemotron-Personas-Finance-Japan을 공개함으로써, 우리는 기업 수준의 고품질 합성 데이터에 대한 접근성을 제공하며, 이를 통해 누구나 더 낮은 비용과 적은 개인 정보 위험으로 문화적 기반을 갖춘 AI 시스템을 구축할 수 있도록 지원합니다.

Nemotron-PII-Japan도 같은 날 출시됩니다. 이 데이터셋은 라벨링된 개인 정보를 포함하는 10만 건의 합성 일본 비즈니스 문서를 담고 있으며, 탐지(detection) 및 마스킹/삭제(redaction) 모델을 학습하고 테스트하는 데 사용됩니다. 이 문서들은 Nemotron-Personas-Japan을 기반으로 구축되었습니다. 고객 시뮬레이션에는 Nemotron-Personas-Finance-Japan을 사용하고, 파이프라인이 해당 데이터를 어떻게 보호하는지 테스트하려면 Nemotron-PII-Japan을 사용하십시오.

아래 명령어를 사용하여 이 데이터셋을 다운로드하여 일본의 문화와 언어를 진정으로 이해하는 AI 개발에 도움을 받을 수 있습니다.

from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Personas-Finance-Japan")

실제 운영 환경(production-ready) 애플리케이션 구축 사례:

• 대화 생성의 시드(seed)로 페르소나 사용
• 문화적 기반 데이터로 모델 미세 조정(fine-tuning)
• 일본 전체 인구 통계를 반영하는 개인화 엔진 구축
• 일본의 맥락을 갖춘 도메인별(domain-specific) AI 에이전트 개발

일본에서 AI를 구축하는 팀부터 광범위한 지역 배포를 목표로 하는 글로벌 개발자까지, Nemotron-Personas-Finance-Japan 데이터셋은 귀하의 애플리케이션에 필요한 진정하고 개인 정보 보호에 민감한 기반을 제공합니다.