최고 성능의 차분 프라이버시 LLM, VaultGemma 공개

요약

본 글은 최고 수준의 성능을 갖춘 '차분 프라이버시 (Differential Privacy, DP)' 기반 대규모 언어 모델(LLM)인 VaultGemma를 소개합니다. AI에 사생활 보호 기능을 핵심으로 통합하는 것이 중요해지면서, 연구진은 DP가 LLM 학습에 미치는 트레이드오프를 분석했습니다. 이들은 '차분 프라이버시 스케일링 법칙 (Scaling Laws for Differentially Private Language Models)'을 수립하여 컴퓨팅 자원, 프라이버시 예산, 데이터 예산 간의 최적 조합을 제시했습니다. 그에

핵심 포인트

• VaultGemma는 차분 프라이버시를 적용해 처음부터 학습된 가장 강력한 오픈 모델(1B 파라미터)입니다.
• DP 적용은 전통적인 스케일링 법칙에 영향을 주며, 컴퓨팅 비용과 안정성 측면에서 트레이드오프가 발생합니다.
• 연구진은 '노이즈-배치 비율'을 중심으로 DP 학습의 최적화된 훈련 구성을 제시했습니다.
• 최적의 성능을 위해서는 모델 크기보다 훨씬 큰 배치 사이즈를 사용하는 것이 유리할 수 있습니다.