Diffusion Model 수학이 포함된 tutorial (2/2)

 

DDIM에서는 DDPM과 다르게 Markovian을 non-Markovian으로 바꾸기 위한 시도를 했었다.

DDPM(Denoising diffusion probabilistic models)은 adversarial 학습 없이 고품질의 이미지 생성에 성공하였으나

sample을 만들기 위해 많은 스텝의 Markov chain을 거쳐야 하는 문제가 있었기 때문이다.

따라서, sampling을 빠르게 하기 위해 DDIM을 제안한다.

 

그러나, loss는 기존 diffusion과 비슷하게 가기 때문에

pretrained 모델을 사용하고 sampling 방법을 달리 하게 된다.

 

 

 

 

DDIM은 프로세스 자체를 새롭게 정의한다.

$q(x_{2}|x_{1},x_{0})$이라는 뜻은,

$x_{2}$라는 값을 뽑기 위해, 이전 step의 $x_{1}$이랑 원본 이미지 $x_{0}$를 이용해 표현할 수 있다는 뜻

 

 

 

 

 

왜 이런 복잡한 일을 하는지?
random noise에 집중하라

 

 

 

 

$\sigma_{t} = 0$으로 설정하면, deterministic generative process가 됨

노이즈와 이미지가 1:1 매칭되는  현상 발생

-> 빠른 sampling 가능해짐

 

• DDPM의 변형으로, 더 간단한 역방향 과정을 사용하여 샘플링 속도를 향상시킴
• 확률적 추론 없이도 고품질의 데이터를 생성할 수 있음
• 샘플링 과정이 빠르고 효율적임

 

---

# Score-based Generative Modeling with Differential Equations

이 모델의 목표는, score-based와 diffusion이 같다는걸 저자가 증명했다

 

같지만, 표현하는 방법은 조금 다른..?

 

 

 

ddpm과 동일한 loss 식이 됨

SDE에서 정의된 방법이 다른 것

 

 

 

 

 

 

 

 

---

https://dlaiml.tistory.com/entry/DDIM-Denoising-Diffusion-Implicit-Models

DDIM: Denoising Diffusion Implicit Models