인과적 생성 모델링 (Causal Generative Modeling)을 위한 파운데이션 모델 (Foundation Models) 활용

인과적 생성 모델링 (Causal generative modeling)은 반사실적 추론 (counterfactual reasoning)이 가능한 신뢰할 수 있고 투명한 AI 시스템을 개발하는 데 필수적입니다. 기존의 접근 방식들은 생성 모델 (generative models)의 학습 과정에서 인과적 제약 (causal constraints)을 통합하는 데 집중하고 있지만, 사전 학습된 파운데이션 모델 (foundation models)의 제로샷 추론 (zero-shot reasoning) 능력을 활용할 수 있는 통합된 프레임워크가 부족한 경우가 많습니다. 본 논문에서는 사전 학습된 파운데이션 모델을 사용하여 엔드 투 엔드 (end-to-end) 시각적 인과 추론 (visual causal reasoning)을 수행하는 모듈형 프레임워크인 FM-CGM을 소개합니다. FM-CGM은 개념 추출기 (concept extractor), 개념 조작기 (concept manipulator), 그리고 반사실적 생성기 (counterfactual generator)라는 세 가지 핵심 구성 요소를 통해 인과 파이프라인 (causal pipeline)을 공식화합니다. 인과 추론 (causal inference)을 위한 대규모 추론 모델 (large reasoning model)과 생성을 위한 텍스트-이미지 확산 모델 (text-to-image diffusion model)을 활용함으로써, 우리의 접근 방식은 제로샷 인과 발견 (causal discovery), 개입 (intervention), 그리고 반사실적 생성 (counterfactual generation)을 가능하게 합니다. 그런 다음, 우리는 의미론적 개입 (semantic interventions)이 불변 영역 (invariant regions)을 보존하면서 자손 개념 (descendant concepts)으로 전파되도록 보장하는 교차 주의 (cross-attention) 기반 메커니즘인 인과적 의미론적 가이드 (Causal Semantic Guidance, CSG)를 개발합니다. 우리는 우리의 접근 방식이 타당한 인과 구조 (causal structures)를 식별할 수 있으며 충실한 반사실적 이미지 생성 (counterfactual image generation)에 적합함을 실증적으로 보여줍니다.