[cs231n] Variational Autoencoders (VAE)

 

이전 PixelCNN 같은 경우에는, 확률 모델이 계산 가능한 함수였는데,

VAE(Variational Autoencoders)는 확률 모델이 계산 불가능한 함수로 정의가 된다.

따라서, Lower bound(하한선)을 구해서 계산 가능한 형태로 만들어주는게 목적이다.

 

VAE에 대해 바로 들어가기 전에,

Autoencoder의 과정인 Encoder와 Decoder에 대해 알아보자.

 

 

 

Autoencoder이란 input data $x$로부터 더 낮은 차원의 feature $z$를 학습하는 방법이다.

$z$가 $x$보다 차원이 낮은 이유는, 기존의 input 중에서 '핵심 정보'만을 갖고 있기 때문이다.

즉, encoder를 통해 input data에 Noise라고 생각되는 부분은 제거하고 싶다는 뜻이다.

 

정리해서 말하면,

Autoencoder: unlabeled training data로부터
lower-dimensional feature representation을 학습하기 위한 unsupervised approach

Encoder: Input data $x$가 들어왔을 때, 그 특징 벡터 $z$를 추출하는 과정

 

 

 

즉, autoencoder를 사용하는 이유는

input data $x$로 부터 얻은 feature인 $z$만 갖고 input data를 복원($\hat{x}$)하기 위해서이다.

그리고 이것이 바로 decoder의 역할이다.

 

Decoder: feature vector $z$를 통해 input data를 재구성하는 과정

 

일반적으로, Encoder과 Decoder은 같은 형태를 갖고 있다. (하지만, 역과정)

 

 

일반적으로, 훈련을 하기 전 reconstructed data를 살펴보면 오른쪽 위의 그림과 같다.

왜 이렇게 흐릿한가? 어쩌면 당연하다.

기존 input data로부터 차원이 낮은 feature $z$를 얻었고, 이를 통해 한정된 정보로 다시 높은 차원으로 매핑하기 때문이다

따라서, autoencoder는

reconstructed된 $\hat{x}$와 원래 input이었던 $x$ 둘 사이의 loss를 줄여나가는 방식으로 학습한다.

input data를 더 잘 나타낼 수 있는 feature $z$를 얻는 과정이라고도 얘기할 수 있다.

 

 

decoder는 feature vector인 $z$를 학습하기 위해 필요했기 때문에

training이 끝난 후에는 사용하지 않는다.

즉, test를 할 때에는 encoder만 사용한다.

 

 

 

학습시킨 Encoder는 supervised model을 초기화하는데 사용된다.

 

autoencoder는 unlabeled data에서 양질의 general feature representation을 학습할 수 있는 장점을 가진다.

따라서, 이렇게 학습시킨 feature representation은

데이터가 많지 않은 supervised learning model의 초기 가중치로 이용될 수 있다.

 

 

 

Autoencoder가 data를 잘 reconstruct하고, supervised model를 초기화하는 feature을 잘 학습한다.

이러한 feature vector $z$를 이용해서 새로운 이미지들을 generate할 수 없을까?

라는 배경에서 나온 것이 바로 'VAE(Variational Autoencoder)'이다.

 

 

 

---

VAE는 AE와 다르게
latent variable $z$로부터 이미지 $x$를 생성하는 모델이다.
(autoencoder의 decoder 역할과 유사함)

 

 

만약 얼굴($x$)을 generate한다고 하면,

$z$가 갖고 있는 정보는 얼마나 미소를 지었는지, 눈썹의 위치, 얼굴의 방향 등이 될 수 있는 것이다.

 

여기서 우리는 true parameter $\theta$를 추정하려고 한다.

 

 

 

 

일반적으로 prior은 가우시안 분포를 사용한다.

 

 

 

어떻게 모델을 train할 수 있을까?

 

- generative model을 training하는 전략으로 FVBN(Fully Visible Brief Network) 을 사용한다.

- 여기서 우리가 알아야 할 것은, training data의 likelihood를 최대화하는 모델의 parameter를 구하는 것이다.

 

 

 

우리는 여기서 $p_{\theta}(x)$를 최대화하고 싶은데.. 문제가 무엇일까?

그렇다 기존의 PixelCNN과 다르게 intractable한 형식이라는 것이다.

 

 

 

 

왜 intractible이라고 표현할까? 바로, 계산이 불가능하기 때문이다.

$P_{\theta}(x | z)$는 모든 $z$에 대해서 알아내야 ->  $P_{\theta}$를 구할 수 있는데

모든 $z$는 우리가 알아낼 수 없기 때문이다.

 

 

 

 

따라서, 추가적인 encoder를 통해서 학습을 시키는데

$P_{\theta}(x | z)$를 근사한 $Q_{\theta}(x | z)$를 이용해 학습을 시킨다.

이때, $Q_{\theta}(x | z)$은 계산이 가능하다.

 그리고 이 계산법은 데이터의 가능도(likelihood)에 대한 tractable한 하한(lower bound)을 유도할 수 있다. 

 

 

 

• Decoder Network Term(첫 번째 term):
  
  [reconstruction]: original input being reconstructed
  $q_{\theta}(z|x)$로부터 sampling한 $z$를 가지고 $p_{\theta}(x_{i}|z)$가 $x_{i}$를 생성한 log likelihood

 

• KL term
  
  prior $p_{theta}(z)$와 posterior $q_{\theta}(z|x)$ 사이의 KL-divergence
  즉 근사된 posterior의 분포가 얼마나 normal distribution과 가까운지에 대한 척도입니다
  (단 이때 prior를 normal distribution으로 가정)

 

• KL term(마지막 KL term)
  
  $p_{\theta}(z| x_{i}|)$는 intractable하기 때문에 값을 계산하기 어렵다.
  (Intractible: Baye's rule을 적용한 수식 $p_{\theta}(z| x_{i}|)$이 계산이 되지 않는 것을 확인) 
  하지만 KL의 성질(특성)에 의해 세번째 항(마지막 KL term)은 무조건 0보다 크거나 같다
  
  

 

 

 

 

---

참고 블로그 링크

https://taeyoung96.github.io/cs231n/CS231n_13/

CS231n 13강 요약

https://doubleyoo.tistory.com/7

[cs231n] Lec13 - Generative models

https://deepinsight.tistory.com/121

[모두를 위한 cs231n] Lecture 13 - Part 2. VAE(Variational AutoEncoer)