전역적(Global) 접근 방식에서 요인별(Factor-Wise) 전문가 조합으로의 이산 확산 모델

원문 발행 2026. 07. 14. 01:22원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 논문은 이산 확산 모델의 한계를 극복하기 위해 FactorDiff라는 요인별 조합 프레임워크를 제안합니다. 기존 방법들이 샘플 단위로 작동하며 전문가들의 특화된 공간적/기능적 정보를 무시하는 문제를 해결하고자 합니다. FactorDiff는 샘플을 작은 요인으로 분해하고, 각 요인을 가장 적합한 전문가에게 동적으로 라우팅하여 조합 생성의 성능을 높였습니다.

핵심 포인트

FactorDiff는 확산 모델을 위한 요인별 조합 프레임워크입니다.
샘플을 작은 요인으로 분해하고 관련성 높은 전문가에게 동적 라우팅합니다.
ARC-AGI 벤치마크에서 논리적 일관성과 공간적 분리가 필요한 작업에 효과적임을 입증했습니다.

이산 확산 모델(Discrete diffusion models)은 복잡한 추론 작업을 해결하는 강력한 프레임워크를 제공하며, 특히 여러 사전 학습된 전문가들을 결합하여 개별 훈련 데이터 범위를 넘어 일반화하는 구성적 생성(compositional generation)을 통해 그러합니다. 최근의 이론적 수정들은 구성된 확산 역학(composed diffusion dynamics)이 의도된 목표에 더 잘 맞도록 시간 의존적 혼합 가중치(time-dependent mixing weights)를 도입했습니다. 하지만, 이러한 방법들은 근본적으로 샘플 단위로 작동한다는 한계가 있습니다. 즉, 각 생성 상태를 단일체(monolithically)로 취급하며 서로 다른 전문가들의 잠재적인 공간적 또는 기능적 특화(spatial or functional specializations)를 무시합니다. 본 연구에서는 FactorDiff를 제안하여 이러한 한계를 해결하고자 합니다. FactorDiff는 확산 모델을 위한 요인별 조합 프레임워크입니다. 우리는 샘플들이 더 작은 요인들로 분해될 수 있다고 가정하고, 각 요인을 가장 관련성 높은 전문가에게 동적으로 라우팅하는 샘플링 프로세스를 제안합니다. 우리는 이 프레임워크를 공간/픽셀 수준의 조합에 적용하여 ARC-AGI 벤치마크에서 검증했으며, 논리적 일관성과 공간적 분리를 요구하는 작업에서 단순한 요인별 라우팅이 복잡한 전역 스칼라 가중치 방식보다 지속적으로 우수함을 입증했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

전역적(Global) 접근 방식에서 요인별(Factor-Wise) 전문가 조합으로의 이산 확산 모델

요약

핵심 포인트

댓글