연속적 처치 (Continuous Treatments)를 활용한 인과 파운데이션 모델 (Causal Foundation Models)

관측 데이터로부터 인과 효과 (causal effects)를 추정하는 인과 추론 (Causal inference)은 많은 학문 분야에서 필수적인 도구입니다. 다양한 영역에서 특히 중요한 것은 개입 변수 (variable of intervention)가 연속적인 범위를 갖는 연속적 처치 (continuous treatment) 설정입니다. 이 설정은 이진 처치 (binary treatment) 설정에 비해 훨씬 덜 탐구되었으며, 모델이 처치 값의 연속체 전반에 걸친 효과를 표현해야 한다는 점에서 상당한 변화를 의미합니다. 본 논문에서 우리는 연속적 처치 설정을 위한 최초의 인과 파운데이션 모델 (causal foundation model)을 제시합니다. 우리의 모델은 추가적인 학습이나 미세 조정 (fine-tuning) 없이도, 학습되지 않은 다양한 작업 전반에서 인과 효과를 예측하는 능력을 메타 학습 (meta-learns)합니다. 먼저, 풍부한 인과 학습 코퍼스 (causal training corpus)를 생성하기 위해 연속적 처치 변수를 가진 데이터 생성 과정 (data-generating processes)에 대한 새로운 사전 확률 (prior)을 설계합니다. 그런 다음, 관측 데이터만을 사용하여 개별 처치-반응 곡선 (individual treatment-response curves)을 재구성하도록 Transformer를 학습시키며, 비용이 많이 드는 베이지안 사후 추론 (Bayesian posterior inference)을 분할 상환 (amortize)하기 위해 인컨텍스트 학습 (in-context learning)을 활용합니다. 우리의 모델은 해당 작업들을 위해 특별히 학습된 인과 모델들과 비교했을 때, 개별 처치-반응 곡선 재구성 작업에서 최첨단 (state-of-the-art) 성능을 달성합니다.