Tech blog

# GAN  VAE같은 경우는 경험적이 아닌 수학적으로 접근하다보니까 너무 복잡해서,그냥 sampling했을 때 그럴 듯한 결과가 나오게만 만들면 안될까?explicit density function하지 말고 game theory를 사용해보자! game theory: 2-player game이란?A가 B의 결과를 보고 최적화하고,B는 A가 최적화한 것을 보고 또 최적화한다.이 과정을 반복하다보면, A와 B가 둘다 이익을 얻을 수 없는 단계에 이른다.  decoder가 generator, 그리고 encoder가 discriminator이 되는 구조다.즉, 먼저 generator가 fake image를 만들고discriminator는 real image와 fake image를 받고 각각이 real(1)인지 ..

본 글은 아래 영상을 기반으로 작성하였습니다.https://www.youtube.com/watch?v=GbCAwVVKaHY&list=PLQASD18hjBgyLqK3PgXZSp5FHmME7elWS&index=10  # Variational Autoencoders(VAE) AE 같은 경우에는 encoder가 중요한 반면, VAE는 decoder가 더 중요하다.즉, AE는 차원을 축소하는 게 중요하고, VAE는 새로운 데이터를 생성하는 것이 중요하다. encoder같은 경우에는 바로 $z$를 구하는게 아니라평균 $\mu$와 분산 $\sigma$를 뽑아낸 후 샘플링해서 $z$를 구한다.그리고 여기서 sampling하는 과정에서 Reparameterization Trick $e$을 사용해야 backpropagat..

본 글은 다음 강의를 듣고 정리하였습니다.https://www.youtube.com/watch?v=9mf4maQU7UY&list=PLQASD18hjBgyLqK3PgXZSp5FHmME7elWS&index=7    # Autoencoder Autoencoder은 input과 output이 동일한 딥러닝 모델이고,Encoding은 고차원의 데이터를 저차원으로 압축하는 과정을 의미한다. (ex. 위의 그림, 100차원 -> 2차원)그리고 압축한 것을 다시 원래의 input 형태의 크기로 복원하는 Decoding이 있다. 압축한 부분을 의미하는 $z$는 code, latent variable, feature, hidden representation 등 다양하게 부른다. 분명 본 차원을 줄여 latent varia..

본 게시글은 다음 강의를 듣고 정리한 내용입니다.https://www.youtube.com/watch?v=V9HcvXliJmw&list=PLQASD18hjBgyLqK3PgXZSp5FHmME7elWS&index=6     # Basic Probability  supervised learning과 다르게 unsupervised learning에서는'확률'에 대한 개념이 많이 나오기 때문에 이를 다시 공부하고 넘어갈 필요가 있다.-(조건부 확률 ex.)$ p(x1,x2,x3) = p(x1|x2, x3) * p(x2|x3) * p(x3) $-(전체 확률의 법칙)$ p(y) = \sum_{x} p(x,y) = \sum_{x} p(y|x)p(x) $ 이걸 연속적인 data에 대해 작업을 했을 때가 (Marginal..

이전 PixelCNN 같은 경우에는, 확률 모델이 계산 가능한 함수였는데,VAE(Variational Autoencoders)는 확률 모델이 계산 불가능한 함수로 정의가 된다.따라서, Lower bound(하한선)을 구해서 계산 가능한 형태로 만들어주는게 목적이다. VAE에 대해 바로 들어가기 전에,Autoencoder의 과정인 Encoder와 Decoder에 대해 알아보자.   Autoencoder이란 input data $x$로부터 더 낮은 차원의 feature $z$를 학습하는 방법이다.$z$가 $x$보다 차원이 낮은 이유는, 기존의 input 중에서 '핵심 정보'만을 갖고 있기 때문이다.즉, encoder를 통해 input data에 Noise라고 생각되는 부분은 제거하고 싶다는 뜻이다. 정리해서..

보호되어 있는 글입니다.

# 1. 당장 좋은 것만 선택하는 그리디그리디(Greedy) 알고리즘: 탐욕적 알고리즘의 뜻은, '현재 상황에서 지금 당장 좋은 것만 고르는 방법'을 의미한다.따라서, 매순간 가장 좋아보이는 것을 선택하게 되며, 현재의 선택이 미래에 어떤 영향을 미칠지 고려하지 않는 것이다.따라서 그리디 알고리즘은 '정당성 분석'이 중요하다.단순히 현재 best를 선택해도 그게 최적의 해가 되는지 검토가 필요하다는 소리이다! 코딩 테스트에서 그리디 알고리즘의 문제유형은'사전에 외우고 있지 않아도 풀 수 있을 가능성이 높은 문제 유형'이다.반면 이후에 공부할 정렬, 최단 경로 등의 알고리즘 유형은이미 그 알고리즘의 사용방법을 정확하게 알아야 하는 경우가 많다.또한, 그리디는 기준에 따라 좋은 것을 선택하는 알고리즘이므로문..

2024년 3월에 arxiv에 올라온 논문으로,기존에 3DGS의 가우시안 수 혹은 차원을 줄이기 위한 시도들(LightGaussian, Compact3DGS 등..)의 한계를 언급하며새로운 아이디어를 주장한다는 점에서 흥미로워 읽게 되었다.  Mini-Splatting: Representing Scenes with a Constrained Number of GaussiansIn this study, we explore the challenge of efficiently representing scenes with a constrained number of Gaussians. Our analysis shifts from traditional graphics and 2D computer vision to t..

3DGS 논문을 읽다가 수식을 보고 든 궁금증이다. 먼저, world 좌표계에서 covariance matrix(공분산행렬)은,(1) 크기변환행렬(scaling matrix) S와 (2) 회전변환행렬(rotation matrix) R을 이용해서 $$\sum = RSS^{T}R^{T}$$다음과 같은 식으로 변환한다. 또한, image 좌표계에서 공분산행렬은,(1) world좌표계에서 camera좌표계로 변환하는 viewing transform과 (2) camera좌표계에서 image좌표계로 변환하는 projective transformation에 대한 아핀근사의 Jacobian을 이용해서 $$  \sum^{'} = JW \sum W^{T}J^{T} $$위의 식으로 표현한다.  두 식을 살펴보면 왜 전치행렬..

Radsplat 논문을 읽다가 3DGS의 한계점으로,휴리스틱 기법으로 인해 optimization하기 어렵다는 얘기가 있었다.3DGS, however, suffers from a challenging optimization landscape and an unbounded model size.The number of Gaussian primitives is not known as a priori, and carefully-tuned merging, splitting, and pruning heuristics are required to acheive satisfactory results.The brittlenenss of these heuristics become particularly evident in..