다중 작업 베이지안 인컨텍스트 학습 (Multi-Task Bayesian In-Context Learning)

베이지안 예측 추론 (Bayesian predictive inference)은 불확실성 정량화 (uncertainty quantification), 데이터 효율성, 그리고 강건한 일반화 (robust generalization)를 위한 원칙적인 프레임워크를 제공합니다. 그러나 정확한 추론 (exact inference)은 종종 다루기 까다로우며(intractable), 확장 가능한 근사법 (scalable approximations)은 계산 비용이 여전히 많이 들거나 예측 성능을 저하시키는 제한적인 모델링 가정 (modeling assumptions)을 요구할 수 있습니다. 최근 Prior-Data Fitted 및 인컨텍스트 (in-context) 모델들이 데이터셋을 예측 분포 (predictive distributions)로 직접 매핑하는 법을 학습함으로써 분할 상환 방식의 대안 (amortized alternative)으로 등장했습니다. 하지만 기존 방식들은 훈련 사전 분포 (training prior)의 서포트 (support)에 밀접하게 결합되어 있으며, 테스트 시점에 새로운 사전 분포 (new priors)에 적응하기 위한 명시적인 메커니즘이 부족하여 분포 변화 (distribution shift) 상황에서 강건함이 제한적입니다. 우리는 사전 정보 (prior information)를 인컨텍스트 데이터셋의 접두사 (prefix)로 명시적으로 표현하는, 분할 상환 계층적 베이지안 예측 추론 (amortized hierarchical Bayesian predictive inference)을 위한 다중 작업 인컨텍스트 학습 (multi-task in-context learning) 프레임워크를 소개합니다. 사전 작업 (prior tasks)과 대상 작업 (target tasks)의 시퀀스에 대해 학습된 트랜스포머 (transformer)는 다양한 사전 분포 군 (families of priors)에 걸쳐 예측을 적응시키는 법을 학습합니다. 메타 분포 외의 사전 분포 (out-of-meta-distribution priors) 및 고차원 잠재 구조 (high-dimensional latent structures)를 가진 사전 분포를 포함하여 난이도가 높아지는 일련의 평가에서, 우리의 방법은 오라클 베이지안 예측기 (oracle Bayesian predictors)와 대등한 성능을 보이면서도 수십 배 더 빠릅니다. 나아가 우리는 실제 시공간 온도 예측 벤치마크를 통해 이 방법의 실질적인 관련성을 입증합니다. 코드는 https://github.com/martianmartina/multi-task-bayesian-icl/ 에서 확인할 수 있습니다.