Modular Diffusers: 확산 모델 파이프라인의 모듈화 및 컴포지션 가이드

요약

Modular Diffusers는 기존 `DiffusionPipeline`보다 유연하고 조합 가능한(composable) 대안을 제공합니다. 이 기능을 통해 텍스트 인코딩, 이미지 인코딩, 디노이징, 디코딩 등 확산 모델의 각 구성 요소를 독립적인 '블록'으로 분리하여 관리할 수 있습니다. 개발자는 이러한 블록들을 자유롭게 추가, 제거, 교체하며 자신만의 워크플로우를 구축할 수 있으며, 이를 노드 기반 인터페이스(Mellon)와 연동하거나 커스텀 Python 클래스로 구현하여 복잡한 AI 파이프라인을 효율적으로 설계하고 최적화할 수

핵심 포인트

• ModularDiffusers는 기존 DiffusionPipeline의 사용 편의성을 유지하면서도, 내부 구조를 텍스트 인코더, VAE 인코더, 디노이저 등 독립적인 '블록(Block)'으로 분해하여 높은 유연성을 제공합니다.
• 각 블록은 자체 입력/출력과 계산 로직을 가지므로, 특정 단계(예: DepthProcessorBlock)만 추출하여 다른 워크플로우의 시작점으로 재사용할 수 있습니다.
• 커스텀 블록은 `ModularPipelineBlocks`를 상속받는 Python 클래스로 정의되며, 필요한 컴포넌트(`expected_components`), 입력/출력(`inputs`, `intermediate_outputs`), 계산 로직(`__call__`)을 명시하여 구현합니다.
• 데이터 흐름 관리를 위해 `ComponentsManager`를 사용하여 여러 파이프라인 간 모델 메모리 오프로딩 및 공유를 효율적으로 처리할 수 있습니다.