언어 모델링을 위한 구면 브라운 확산(Spherical Brownian Diffusion)

요약

본 글은 연속 확산 언어 모델을 위해 '구면 브라운 확산(Spherical Brownian Diffusion)'이라는 새로운 방법을 제안합니다. 이 과정은 단위 구 상에서 표준 등방성 브라운 운동을 사용하여, 원칙적인 순방향 과정과 정확한 조상 다리를 제공하는 것이 특징입니다. 이를 통해 손상 과정과 추론을 분리하고 다양한 샘플러를 지원하여 언어 모델링의 성능 향상을 목표로 합니다.

핵심 포인트

• 구면 브라운 확산(Spherical Brownian Diffusion)은 연속 확산 언어 모델에 새로운 기반을 제공합니다.
• 이 과정은 원칙적인 순방향 과정과 정확한 조상 다리를 통해 수학적 안정성을 확보했습니다.
• 손상 과정과 추론을 분리하기 위해 고차원 근사율을 도출하고 적용하는 것이 핵심입니다.
• 샘플러 선택에 따른 성능 변화를 분석하여 최적의 샘플링 전략을 제시합니다.