DealMaTe: Diffusion Transformer을 통한 다차원 재질 전이

요약

DealMaTe는 텍스트 가이드와 참조 네트워크 없이 깊이, 법선, 조명 이미지를 활용하여 고품질의 재질 전이를 수행하는 새로운 확산 프레임워크입니다. Multi-Dim 3D Shader LoRA를 통해 베이스 모델 수정 없이 3D 정보를 주입하며, 어텐션 메커니즘 최적화를 통해 계산 효율성을 높였습니다. 다양한 실험을 통해 임의의 입력 재질에서도 높은 충실도를 가진 재질 전이 성능을 입증했습니다.

핵심 포인트

• 텍스트 의존성 및 추가 계산 비용 문제를 해결한 단순화된 확산 프레임워크 제안
• Multi-Dim 3D Shader LoRA를 통한 경량화된 3D 정보 주입 방식 설계
• Shader Causal Mutual Attention 및 KV 캐싱을 통한 추론 지연 감소 및 효율성 개선
• 깊이, 법선, 조명 정보를 활용한 고충실도(high-fidelity) 재질 전이 달성