상관 행렬에 대한 새로운 MCMC 기반 Wishart 사전 확률 구현을 이용한 가우시안 프로세스 (Gaussian Process) 기반 학습
요약
가우시안 프로세스(GP)의 고차원 추론 문제를 해결하기 위해 MCMC 기반의 새로운 Wishart 사전 확률 구현 방식을 제안합니다. 룩백 윈도우를 활용한 자기 조립형 구조를 통해 커널 하이퍼파라미터 추론의 적응성을 높였습니다.
핵심 포인트
- MCMC를 이용한 커널 하이퍼파라미터 베이지안 추론 수행
- 타임스텝 의존적 척도 행렬을 갖는 Wishart 사전 확률 개발
- 고차원 다변량 데이터에서의 GP 추론 효율성 개선
- 합성 및 실제 데이터셋을 통한 방법론의 유효성 검증
입력-출력 관계(가우시안 프로세스 (Gaussian Process)의 샘플 함수로서)의 확률론적 지도 학습 (probabilistic supervised learning)에서, 일반적으로 가우시안 프로세스 (GP)의 공분산 함수 (covariance function)를 매개변수화하는 커널 (kernel)의 하이퍼파라미터 (hyperparameters)에 대한 사전 확률 (priors)이 지정됩니다. 여기서 (결과적으로 다변량 정규 (multivariate Normal) 분포를 따르는) 가능도 (likelihood)에 의해 유도된 공분산 행렬 (covariance matrix)은 학습과 예측을 제어합니다. 구하고자 하는 함수가 고도로 다변량인 경우, 여러 개의 길이 척도 (lengthscale) 파라미터를 동시에 학습해야 하므로 추론 (inference)이 어려워집니다. 본 연구에서는 MCMC를 사용하여 커널 하이퍼파라미터에 대한 베이지안 추론 (Bayesian inference)을 수행하는 동시에, 공분산 행렬을 위한 "자기 조립형 (self-assembled)" Wishart 사전 확률 (Wishart prior)을 개발합니다. 이 구조는 최근의 MCMC 반복 (iterations)에 대한 룩백 윈도우 (look-back window)를 사용하여 타임스텝 (time-step)에 의존하는 척도 행렬 (scale matrix)을 정의함으로써, 체인 (chain)에 적응성 (adaptiveness)을 도입합니다. 결과에 따르면 공분산 행렬에 대한 직접적인 사전 확률 지정은 가우시안 프로세스 (GP) 기반 학습 패러다임 내에서 약한 정보성 (weakly informative) 입력을 진단하는 데 유용할 수 있음을 시사합니다. 우리는 합성 데이터 (synthetic data)에 대한 사례와 실제 데이터셋 (real-world dataset)에 대한 사례, 두 가지 별개의 실증적 예시를 통해 우리의 사전 확률 개발을 뒷받침합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기