[딥러닝과 설계] Autoencoder & Anomaly Detection

본 글은 다음 강의를 듣고 정리하였습니다.

https://www.youtube.com/watch?v=9mf4maQU7UY&list=PLQASD18hjBgyLqK3PgXZSp5FHmME7elWS&index=7

 

 

 

 

---

# Autoencoder

 

Autoencoder은 input과 output이 동일한 딥러닝 모델이고,

Encoding은 고차원의 데이터를 저차원으로 압축하는 과정을 의미한다. (ex. 위의 그림, 100차원 -> 2차원)

그리고 압축한 것을 다시 원래의 input 형태의 크기로 복원하는 Decoding이 있다.

 

압축한 부분을 의미하는 $z$는 code, latent variable, feature, hidden representation 등 다양하게 부른다.

 

분명 본 차원을 줄여 latent variable를 만들었으면, 많은 정보들이 손실이 되었을텐데

그럼에도 불구하고 decoding을 했을 때 input과 비슷한 결과를 가질 수 있는 이유는 무엇일까?

바로 latent variable에는 '핵심 정보'만을 저장하기 때문이다.

 

앞서 배운, 차원 축소의 가장 기본적인 예가 Autoencoder이다.

 

 

 

 

input 이미지 $x$와 output 이미지 $y$의 사이즈는 동일하고,

이 둘 사이의 차이값인 loss $L(x,y)$을 줄여나가는 방식으로 학습이 된다.

(여기서는 $x$와 $y$의 차이를 픽셀당 MSE로 비교)

 

사실 label은 주어지지 않았기 때문에 unsupervised가 맞지만,

입력 이미지 자체가 label 역할을 해주기 때문에 supervised처럼 문제를 해결한다.

 

Autoencoder의 목적은 encoder이기 때문에 잘 압축하는 것을 목적으로 사용된다.

 

 

 

 

초반에 Encoder과 Decoder의 구조는 NN이었지만,

최근에서는 CNN 구조도 많이 쓰이고 있다. 그리고 이것은 Convolutional AE (CAE)라고 부른다.

실제로 이미지를 압축할 때, NN보다 CNN을 사용했을 때 퀄리티가 더 좋았던 것을 확인할 수 있다.

 

 

 

실제로 코드를 살펴 보면, 기존 다른 코드에서 model.fit(x,y)한 것과 달리

autoencoder에서는 자기 자신을 label처럼 사용하므로 model.fit(x_train, x_train)으로 코드를 쓴 것을 확인할 수 있다.

 

---

 

# Autoencoder Application 1 - Supervised Learning

 

autoencoder은 transfer learning에도 사용될 수 있다.

 

unlabeled 이미지들을 autoencoder로 학습을 하고 decoder 부분을 뗀다.

이후 encoder 부분은 frozen시키고 classifier를 붙여 label이 있는 data에 대해서 finetuning을 하여 학습을 하는 과정이다.

예를 들어, 기존의 사진에서는 말, 고양이, 사자 등 다양한 데이터셋이 있다 하더라도

오른쪽 경우에서는 label이 있는 고양이만 다시 학습을 하는 것이다.

 

이렇게 encoder를 이용하면 supervised learning에서도 사용할 수 있게 된다.

 

 

# Autoencoder Application 2 - Anomaly Detection

 

이상치 탐지에도 많이 사용이 된다.

정상인 data에 대해서만 autoencoder를 학습시킨 후

이상치인 data가 들어왔을 때 reconstruction error가 커지는 것을 사용한 방법이다.

 

즉, reconstruction error가 특정 threshold 이상이 나온다면 anomaly 이상치로 분류하는 것이다.

 

 

 

경우에 따라 Type1이 더 큰 에러일 수도, Type2가 더 큰 에러일 수도 있다.

예를 들어 positive가 암이라고 판단을 한다면, 암이 걸렸는데 정상이라고 판단한 Type2가 더 큰 에러이다.

그와는 반대로 positive가 유죄라고 한다면, 무죄인데 유죄라고 판단한 Type1이 더 큰 에러일 수 있다.

 

 

 

 

각각의 case에 맞게 성능 지표를 분석할 수 있다.