거의 모든 것을 조건으로 하는 가우시안 프로세스 (Conditioning Gaussian Processes on Almost Anything)
요약
가우시안 프로세스(GP)와 선형 확산 모델 간의 등가성을 확립하여, 비선형 물리 법칙이나 LLM을 통한 자연어 등 다양한 조건에서도 예측 샘플링이 가능한 새로운 프레임워크를 제안합니다. 이 방식은 GP의 추론 과정을 상미분 방정식(ODE)으로 재구성하여, 복잡한 조건부 확률 모델링을 범용적으로 수행할 수 있게 합니다.
핵심 포인트
- 가우시안 프로세스와 선형 확산 모델 사이의 명시적 등가성 확립
- 예측 샘플링을 폐쇄형 가우시안 역학 및 ODE 기반의 가이드 항으로 재구성
- 비선형 물리 및 LLM 기반 자연어 등 비선형/비가우시안 조건화 지원
- Whitening 기법을 통해 수치적 경직성을 제거하고 Wasserstein-2 수송 비용 최소화
- 맞춤형 유도 없이 다양한 실세계 지식을 통합할 수 있는 범용 GP 추론 체계 구축
가우시안 프로세스 (Gaussian processes, GPs)는 함수에 대한 원칙적인 확률 모델을 제공하지만, 정확한 추론 (exact inference)은 선형-가우시안 (linear-Gaussian) 영역으로 제한됩니다. 우리는 GPs와 선형 확산 모델 (linear diffusion models) 클래스 사이의 명시적인 등가성을 확립하여, 예측 샘플링 (predictive sampling)을 폐쇄형 가우시안 역학 (closed-form Gaussian dynamics)과 단순한 몬테카를로 근사 (Monte Carlo approximation)가 가능한 가능도 의존적 가이드 항 (likelihood-dependent guidance term)을 가진 상미분 방정식 (ODE)으로 재구성합니다. 선형-가우시안 설정에서는 표준 GP 조건화 (GP conditioning)를 정확하게 복구합니다. 공액성 (conjugacy)을 넘어, 동일한 메커니즘은 점별 가능도 평가 (point-wise likelihood evaluation)를 허용하는 모든 조건화 문구—비선형 물리학 (non-linear physics)을 포함하여, 처음으로 대규모 언어 모델 (large language models)을 통한 자연어 (natural language)까지—를 처리할 수 있습니다. 화이트닝 (Whitening)은 환원 불가능한 비가우시안 역학 (non-Gaussian dynamics)을 격리하여, Wasserstein-2 수송 비용 (Wasserstein-2 transport cost)을 최소화하고 수치적 경직성 (numerical stiffness)을 제거합니다. 그 결과, 맞춤형 유도 (bespoke derivations)가 필요 없는 범용 GP 추론 체계가 도출됩니다. 이러한 결과들은 실세계 지식의 풍부함을 조건화 정보로서 통합할 수 있는 일반적인 메커니즘을 제공하며, 실세계 문제의 확률론적 모델링 (probabilistic modelling)을 위한 새로운 지평을 엽니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기