확산 모델 (Diffusion models)은 단계별로 노이즈를 추가하는 과정을 역으로 학습함으로써, 순수한 무작위 노이즈를 일관된 이미지, 비디오 클립, 오디오 파형 또는 단백질 구조로 점진적으로 변환하는 생성형 AI (generative AI)의 한 종류입니다. 픽셀을 처음부터 그려내거나 적대적 비평가 (adversarial critic)를 훈련시키는 대신, 이들은 사진 복원 소프트웨어가 입자 (grain)를 제거하는 방식과 유사하게 노이즈 제거 함수 (denoising function)를 학습합니다. 다만, 완전히 새로운 콘텐츠를 생성할 수 있도록 수백만 개의 사례를 통해 대규모로 훈련됩니다.

목차

1. 핵심 직관: 순방향 노이즈 추가 (Forward Noising) 및 역방향 노이즈 제거 (Reverse Denoising)
2. 주요 이정표: DDPM, DDIM, 잠재 확산 (Latent Diffusion), 그리고 비디오
3. 잠재 확산 (Latent Diffusion)이 모든 것을 어떻게 바꾸었는가
4. 조건화 메커니즘 (Conditioning Mechanisms) 및 사용자 제어
5. 이미지를 넘어: 오디오, 비디오, 그리고 단백질
6. 속도, 연산량, 그리고 윤리
7. 다음에 주목할 것
8. 결론
9. 자주 묻는 질문 (FAQ)
10. 참고 문헌

핵심 요약

• 확산 모델 (Diffusion models)은 먼저 데이터를 가우시안 노이즈 (Gaussian noise)로 오염시킨 다음, 신경망 (neural network)이 그 오염을 단계별로 역전시키도록 훈련함으로써 노이즈 제거 함수 (denoising function)를 학습합니다.
• DDPM은 안정적인 훈련을 확립했고, DDIM은 더 빠른 샘플링 (sampling)을 가능하게 했으며, 잠재 확산 (latent diffusion, Stable Diffusion)은 압축된 잠재 공간 (latent space)에서 작동함으로써 연산량을 약 100배 절감했습니다.
• 동일한 수학적 프레임워크가 이제 비디오, 오디오, 그리고 AlphaFold 3의 단백질-리간드 복합체를 포함한 생체 분자 구조를 생성합니다.
• 주요 병목 현상은 여전히 남아 있습니다: 추론 (inference)에는 수십 번의 순차적인 노이즈 제거 단계가 필요하며, 소비자용 비디오 생성은 클립당 수백 번의 연산을 요구하고, 접근성이 높아짐에 따라 콘텐츠 중재 (content-moderation) 위험도 커지고 있습니다.
• 플로우 매칭 (Flow matching)과 일관성 증류 (distillation) 기술은 전체 베이스 모델을 재훈련하지 않고도 1~4단계의 생성으로 나아가는 방향을 제시합니다.

핵심 직관: 순방향 노이즈 추가 (Forward Noising) 및 역방향 노이즈 제거 (Reverse Denoising)

확산 모델 (Diffusion Model)은 두 단계로 작동합니다. 순방향 노이즈 추가 (Forward Noising) 단계에서는 학습 데이터에 고정된 분산 곡선을 따르는 순수 노이즈가 될 때까지 T 단계에 걸쳐 가우시안 노이즈 (Gaussian noise)를 추가하여 데이터를 오염시킵니다. 이 과정에는 학습된 파라미터 (Learned parameters)가 필요하지 않습니다.

역방향 (Reverse) 단계에서는 신경망 (Neural network)이 각 단계에서의 노이즈를 예측하는 법을 학습합니다. 학습 시 모델은 노이즈가 섞인 샘플 $x_t$를 전달받으며, 가중치가 적용된 변분 하한 (Variational bound)을 손실 함수 (Loss)로 하여 이를 최소화합니다. Jonathan Ho, Ajay Jain, 그리고 Pieter Abbeel의 기념비적인 2020년 DDPM 논문에 따르면, 이 목적 함수는 확산 모델을 Langevin dynamics를 이용한 노이즈 제거 점수 매칭 (Denoising score matching)과 연결합니다. 학습이 완료되면, 새로운 데이터를 생성한다는 것은 순수한 무작위 노이즈에서 시작하여 일관된 샘플이 나타날 때까지 노이즈 제거 예측을 반복적으로 적용하는 것을 의미하며, 변형 모델에 따라 20에서 1000 단계가 필요합니다.

이 접근 방식은 이전 방법들보다 뛰어난 성능을 보였습니다. GAN은 모드 붕괴 (Mode collapse) 문제를 겪었던 반면, VAE는 가능한 모든 결과의 평균치를 생성하여 흐릿한 결과물을 만들어냈기 때문입니다. 확산 모델은 노이즈를 데이터로 한 번에 매핑하는 대신, 노이즈 수준 사이의 전이 (Transitions)를 모델링함으로써 두 가지 문제를 모두 피합니다.

주요 이정표: DDPM, DDIM, Latent Diffusion, 그리고 비디오

학술적 호기심에서 소비자 인프라로의 궤적은 약 4년 만에 압축되었습니다.

DDPM은 2020년 6월에 소개되었으며, 가중치가 적용된 ELBO 목적 함수로 학습된 단순한 U-Net을 사용하여 CIFAR-10 및 ImageNet에서 고품질 이미지 합성을 입증했습니다. 저자들은 확산 모델을 노이즈 제거 점수 매칭 (Denoising score matching)과 연결하여, arXiv의 원본 DDPM 논문에 기술된 대로 이 방법을 통계 물리학에 근거를 두었습니다. 이후 Nichol과 Dhariwal의 improved-DDPM 연구는 더 나은 노이즈 스케줄 (Noise schedules)을 통해 ImageNet 256 해상도에서 FID를 3.17까지 끌어올렸습니다.

DDIM은 2020년 10월 Song, Meng, Ermon에 의해 발표되었으며, 역확산 (reverse diffusion) 과정이 샘플링 시 중간 단계를 완전히 건너뛸 수 있는 상미분 방정식 (Ordinary Differential Equation, ODE) 버전으로 매핑될 수 있음을 보여주었습니다. 이는 추가적인 학습 없이도 1,000번의 샘플링 대신 20~50번의 샘플링만으로도 대등한 품질에 도달할 수 있음을 의미합니다. DDIM 논문은 비마르코프적 (non-Markovian) 샘플링이 이미지 편집에 유용한 결정론적 역전 경로 (deterministic inversion paths)를 가능하게 한다는 것을 입증합니다.

**잠재 확산 모델 (Latent Diffusion Models, LDM)**은 2021년 12월 Rombach 등에 의해 기술되었으며, 확산 과정을 압축된 VAE 잠재 공간 (latent space)으로 이동시켜 품질을 유지하면서도 연산량을 약 100배 절감했습니다. 2022년 8월 CLIP 텍스트 컨디셔닝 (text conditioning)과 결합되어 Stable Diffusion으로 패키징되면서, 미세 조정된 체크포인트와 LoRA 어댑터의 오픈 소스 생태계를 촉진했습니다.

**비디오 확산 (Video diffusion)**은 이 프레임워크를 시간 축으로 확장했습니다. OpenAI의 Sora는 정적인 프레임 대신 시공간 볼륨 (spacetime volumes)에 확산 패치 (diffusion patches)를 적용하며, 그들의 비디오 생성을 세계 시뮬레이션으로 보는 기술 보고서에 기술된 바와 같이 생성을 세계 시뮬레이션 (world simulation)으로 취급합니다. Lilian Weng의 2024년 확산 비디오 아키텍처에 관한 조사에 따르면, 3D 컨볼루션 (convolutions)과 시간적 어텐션 (temporal attention)을 추가함으로써 VideoLDM과 Imagen Video가 720p 클립까지 확장할 수 있었습니다.

잠재 확산이 모든 것을 바꾼 방식

잠재 확산 (Latent diffusion)은 사전 학습된 VAE를 통해 이미지를 저차원 공간으로 압축하고, 작은 U-Net을 사용하여 해당 압축된 표현 위에서 확산 노이즈 제거 (denoising)를 수행한 다음, 동결된 디코더 (frozen decoder)를 사용하여 다시 전체 해상도로 복원합니다.

256x256 RGB 이미지는 196,608개의 채널을 포함합니다. 이를 32x32 3채널 잠재 벡터 (latent vector)로 압축하면 3,072개의 값으로 줄어듭니다. 단계당 활성화 (activations) 값이 100배 적다는 것은 노이즈 제거 (denoising) 단계당 GPU 메모리 사용량이 훨씬 적음을 의미하며, VAE가 인코딩 과정에서 시각적으로 중요한 특징들을 보존하기 때문에 품질 저하는 감지할 수 없을 정도로 미미합니다.

**Classifier-free guidance (분류기 없는 가이드)**는 이 프레임워크 내에서 조건부 생성 (conditional generation)이 작동하도록 만듭니다. 학습 과정에서 모델은 텍스트 프롬프트와 같은 조건부 입력 (conditioned inputs)과 조건이 무작위로 누락된 무조건부 입력 (unconditioned inputs)을 모두 받습니다. 추론 (inference) 시에는 생성된 그래디언트 (gradient)가 조건부 방향으로 조종됨으로써 증폭됩니다. LDM 논문에 따르면, Stable Diffusion 변형 모델들의 경우 가이드 스케일 (guidance scales)을 7에서 15 사이로 설정할 때 일반적으로 좋은 결과가 나타납니다.

조건화 메커니즘 (Conditioning Mechanisms) 및 사용자 제어

텍스트 프롬프트는 교차 주의 (cross-attention) 레이어를 통해 흐릅니다. Stable Diffusion은 CLIP ViT-L/14를 사용하여 텍스트를 768차원 임베딩 (embeddings)으로 인코딩하며, 이를 U-Net의 중간 및 상단 블록에 주입합니다. SDXL은 더 큰 인코더인 OpenCLIP ViT-bigG/14로 업사이즈되어, 더 긴 프롬프트에 대한 텍스트 충실도 (text fidelity)를 향상시켰습니다.

ControlNet은 에지 맵 (edge maps), 깊이 맵 (depth maps), 또는 포즈 스켈레톤 (pose skeletons)을 수용하는 병렬 브랜치를 추가하여, 사전 학습된 가중치 (pretrained weights)를 수정하지 않고 학습된 잔차 (residuals)를 주입합니다. T2I-Adapter는 동일한 개념을 더 가볍게 유지합니다. IP-Adapter는 이미지 임베딩을 조건으로 사용하므로, 텍스트 설명 대신 참조 사진으로부터 스타일을 가이드할 수 있습니다. 이들은 결합되어 모델 재학습 없이도 포즈, 레이아웃, 조명 및 스타일에 대한 정밀한 제어를 제공합니다.

이미지를 넘어: 오디오, 비디오, 그리고 단백질

확산 (Diffusion)은 범용 생성 프레임워크입니다. 데이터 구조에 대해 순방향 노이징 과정 (forward noising process)을 정의할 수 있다면, 동일한 노이즈 제거 목적 함수 (denoising objective)가 언제든 작동합니다.

**오디오 생성 (Audio generation)**은 원시 파형 (raw waveforms) 대신 멜-스펙트로그램 (mel-spectrograms) 또는 오디오 코덱 잠재 변수 (audio codec latents)에 확산 (diffusion)을 적용합니다. 연구 시스템들은 이산 오디오 코드북 (discrete audio codebooks) 상의 확산을 통해 음성 변환 (voice conversion) 및 음성 합성 (speech synthesis)을 입증해 왔으며, Stable Audio와 같은 상용 도구들은 텍스트 프롬프트로부터 음악 클립을 생성합니다.

**단백질 구조 예측 (Protein folding)**은 아마도 가장 놀라운 교차 분야일 것입니다. 2024년 5월 Nature에 발표된 DeepMind의 AlphaFold 3는 이전 아키텍처를 단백질, 핵산 (nucleic acids), 소분자 (small molecules), 이온 (ions) 및 화학적 변형 (chemical modifications)의 공동 구조 예측을 위해 설계된 확산 기반 모델 (diffusion-based model)로 교체했습니다. 구조 예측을 조건부 생성 모델링 (conditional generative modeling)으로 취급함으로써, 이 시스템은 무작위 원자 좌표에서 서열 제약 조건 (sequence constraints)과 일치하는 형태 (conformations)로 노이즈를 제거 (denoising)하여 생체 분자 복합체의 3D 배치를 예측합니다.

시각 매체를 넘어선 이러한 확장은 확산 모델이 왜 근본적으로 중요한지를 보여줍니다. 즉, 순방향 오염 (forward corruption)을 정의할 수 있고 역과정 (reverse process)을 신경망 (neural network)이 학습할 수 있는 모든 도메인에 대해 통일된 목적 함수 (unified objective)를 제공하기 때문입니다.

속도, 연산량, 그리고 콘텐츠 리스크

추론 비용 (Inference cost)은 여전히 주요 병목 현상입니다. 20에서 100단계의 노이즈 제거 (denoising) 단계 각각은 전체 U-Net 패스 (U-Net pass)를 요구합니다. 비디오의 경우, 24fps로 10초 분량이면 각각 전체 노이즈 제거 체인이 필요한 약 240개의 프레임을 의미합니다. 단계 수를 1개 또는 4개로 줄이는 증류 (Distillation) 방법들은 속도를 위해 다양성 (diversity)을 희생합니다.

학습에는 막대한 연산량 (compute)이 요구됩니다. Stability AI의 발표에 따르면, Stable Diffusion 2.0은 수 주 동안 수천 개의 A100 GPU에서 학습되었습니다. 소비자용 하드웨어는 그러한 투자 이후에 추론 (inference)을 수행하지만, 모델을 학습시키는 주체와 사용하는 주체 사이의 격차는 집중화 문제 (concentration problem)로 심화되고 있습니다.

접근성이 높아짐에 따라 콘텐츠 중재 (Content moderation) 위험도 함께 커지고 있습니다. 누구나 Stable Diffusion의 가중치 (weights)를 다운로드하여 필터링 없이 실사 같은 콘텐츠를 생성할 수 있습니다. 암기 (memorization)를 통한 개인정보 유출도 문서화되어 있는데, 동료 검토 (peer-reviewed)를 거친 연구에 따르면 얼굴 데이터셋으로 학습된 확산 모델 (diffusion models)은 부분적인 데이터가 프롬프트로 제공될 때 식별 가능한 학습 이미지를 재구성할 수 있음이 밝혀졌습니다.

다음에 주목할 것

Flow matching과 rectified flows는 현재 DDPM과 유사한 단계 수(step counts)에서 경쟁할 수 있는 더 깨끗한 ODE 기반 파이프라인을 제공하며, 더 부드러운 보간 (interpolation)을 가능하게 합니다.

생성형 비디오 (Generative video)는 SDK에서 표준화되고 있습니다. 오픈 소스 잠재 비디오 모델 (latent video models)은 속도와 충실도 (fidelity) 측면에서 폐쇄형 소스 제품들과 경쟁하고 있습니다. 다음 개척지는 단순히 정지 영상의 품질을 높이는 것이 아니라, 적은 단계의 추론 (fewer-steps inference)과 비디오 생성 중 통합된 오디오 생성이 결합되는 것입니다.

멀티모달 통합 (Multimodal integration)은 여전히 상당 부분 해결되지 않은 상태입니다. 현재의 시스템은 한 번에 하나의 양식 (modality)만 처리합니다. 진정으로 통합된 시스템이라면 별도의 모델들을 나중에 이어 붙이는 대신, 조정된 다감각 출력을 네이티브하게 생성할 것입니다.

결론

확산 모델 (Diffusion models)은 2015년 스코어 매칭 (score matching)에 관한 학술적 아이디어에서 시작하여, 10년 만에 이미지 합성, 비디오 제작, 생체 분자 구조 예측의 이면에 있는 지배적인 생성 아키텍처 (generative architecture)로 진화했습니다. 이들의 강점은 학습 안정성과 제어 가능성 (controllability)에 있는 반면, 약점은 추론 속도와 최첨단 버전을 학습하는 데 필요한 집중된 컴퓨팅 자원입니다. 이 분야는 증류된 소수 단계 모델 (distilled few-step models)과 멀티모달 통합을 향해 이동하고 있습니다.

만약 생성형 AI를 활용하여 무언가를 구축하고 있다면, 확산 모델의 내부 구조를 이해하는 것이 적절한 모델 제품군을 선택하고, 가이드 (guidance) 파라미터를 조정하며, 현실적인 기대치를 설정하는 데 도움이 됩니다. 노이징 (noising)에 대한 직관과 최적화 (optimization) 세부 사항을 분리하면 수학적 원리는 접근하기 쉬워지며, 잠재 확산 (latent diffusion)을 둘러싼 오픈 소스 생태계는 오늘날 사용 가능한 거의 모든 대안적 생성 방식보다 더 많은 제어권을 제공합니다.

자주 묻는 질문 (Frequently Asked Questions)

참고 문헌 (References)

[1] Denoising Diffusion Probabilistic Models (DDPM), Jonathan Ho, Ajay Jain, Pieter Abbeel, arXiv 2020. URL: https://arxiv.org/abs/2006.11239

[2] High-Resolution Image Synthesis with Latent Diffusion Models (LDM), Rombach 외, arXiv 2021. URL: https://arxiv.org/abs/2112.10752

[3] Denoising Diffusion Implicit Models (DDIM), Song, Meng, Ermon, arXiv 2020. URL: https://arxiv.org/abs/2010.02502

[4] Video Generation Models as World Simulators, OpenAI technical report.

[5] Diffusion Models: A Comprehensive Survey, Song, An, Liu, arXiv 2022. URL: https://arxiv.org/abs/2209.00796

[6] AlphaFold 3 biomolecular structure prediction, Yang 외, Nature 2024. URL: https://www.nature.com/articles/s41586-024-07487-w

[7] Diffusion Models for Video Generation, Lilian Weng, 2024. URL: https://lilianweng.github.io/posts/2024-04-12-diffusion-video/

[8] Diffusion Models Explained: How AI Makes Images, AITraining2U, 2026. URL: https://www.aitraining2u.com/diffusion-models-explained-2026.html

원래는 TekMag에 게시됨