함수 공간 변분 추론을 위한 흐름 변환 암시적 프로세스 (Flow-Transformed Implicit Processes)

암시적 프로세스 (Implicit-process) 사전 확률은 유연한 생성 메커니즘을 통해 함수에 대한 분포를 정의하며, 이는 베이지안 함수 공간 모델링 (Bayesian function-space modelling)에 매우 매력적입니다. 그러나 이러한 사전 확률을 사용하여 사후 추론 (posterior inference)을 수행하는 것은 어려운데, 이는 유도된 함수 공간 분포가 일반적으로 폐쇄형 (closed form)으로 제공되지 않기 때문입니다. 하나의 실용적인 전략은 샘플링된 함수의 유한한 집합을 사용하여 사전 확률을 근사화한 다음, 사후 함수를 이러한 샘플들의 학습된 조합으로 표현하는 것입니다. 기존의 접근 방식들은 일반적으로 조합 가중치 (combination weights)에 가우시안 변분 분포 (Gaussian variational distribution)를 설정합니다. 이 방식은 다루기 쉽지만, 특히 실제 사후 분포가 비대칭적이거나, 두터운 꼬리 (heavy-tailed)를 갖거나, 다봉형 (multimodal)인 경우 표현할 수 있는 사후 불확실성 (posterior uncertainty)의 형태를 제한합니다. 본 논문에서는 이러한 유한 차원 함수 공간 근사를 더욱 표현력 있게 만드는 변분 추론 (variational inference) 방법인 흐름 변환 암시적 프로세스 (Flow-Transformed Implicit Processes, FTIP)를 제안합니다. FTIP는 조합 가중치에 가우시안 분포를 사용하는 대신, 정규화 흐름 (normalizing flow)을 사용하여 더 풍부한 변분 분포를 정의합니다. 이는 다루기 쉬운 최적화를 유지하면서 함수에 대한 유연한 사후 분포를 유도합니다. 우리는 Black-Box $\alpha$ 목적 함수를 사용하여 모델을 학습시키며, 이를 통해 질량 피복 (mass-covering) 및 모드 탐색 (mode-seeking) 변분 동작을 비교할 수 있습니다. 실험 결과, FTIP는 가우시안 계수 근사 (Gaussian coefficient approximations)가 매끄럽게 만들거나 붕괴시키는 경향이 있는 함수 공간 내의 비대칭적이고 다봉적인 사후 구조를 포착함을 보여줍니다.