Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 파운데이션 모델을 활용하여 시각적 인과 추론을 수행하는 모듈형 프레임워크 FM-CGM을 제안합니다. 개념 추출, 조작, 반사실적 생성을 통해 제로샷 인과 발견과 개입을 가능하게 하며, CSG 메커니즘으로 의미론적 일관성을 유지합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기인과적 생성 모델링 (Causal generative modeling)은 반사실적 추론 (counterfactual reasoning)이 가능한 신뢰할 수 있고 투명한 AI 시스템을 개발하는 데 필수적입니다. 기존의 접근 방식들은 생성 모델 (generative models)의 학습 과정에서 인과적 제약 (causal constraints)을 통합하는 데 집중하고 있지만, 사전 학습된 파운데이션 모델 (foundation models)의 제로샷 추론 (zero-shot reasoning) 능력을 활용할 수 있는 통합된 프레임워크가 부족한 경우가 많습니다. 본 논문에서는 사전 학습된 파운데이션 모델을 사용하여 엔드 투 엔드 (end-to-end) 시각적 인과 추론 (visual causal reasoning)을 수행하는 모듈형 프레임워크인 FM-CGM을 소개합니다. FM-CGM은 개념 추출기 (concept extractor), 개념 조작기 (concept manipulator), 그리고 반사실적 생성기 (counterfactual generator)라는 세 가지 핵심 구성 요소를 통해 인과 파이프라인 (causal pipeline)을 공식화합니다. 인과 추론 (causal inference)을 위한 대규모 추론 모델 (large reasoning model)과 생성을 위한 텍스트-이미지 확산 모델 (text-to-image diffusion model)을 활용함으로써, 우리의 접근 방식은 제로샷 인과 발견 (causal discovery), 개입 (intervention), 그리고 반사실적 생성 (counterfactual generation)을 가능하게 합니다. 그런 다음, 우리는 의미론적 개입 (semantic interventions)이 불변 영역 (invariant regions)을 보존하면서 자손 개념 (descendant concepts)으로 전파되도록 보장하는 교차 주의 (cross-attention) 기반 메커니즘인 인과적 의미론적 가이드 (Causal Semantic Guidance, CSG)를 개발합니다. 우리는 우리의 접근 방식이 타당한 인과 구조 (causal structures)를 식별할 수 있으며 충실한 반사실적 이미지 생성 (counterfactual image generation)에 적합함을 실증적으로 보여줍니다.