Tech blog

0. Abstract1. 많은 Gaussian들이 similar parameters를 공유한다는 점을 발견했다2. 따라서, Gaussian parameters를 quantize하기 위해 K-means 기반의 vector quantization 방법론을 제시한다.이때 각각의 Gaussian의 코드 index와 함께 codebook을 저장한다.추가로 인덱스는 정렬한 후 run-length encoding과 비슷한 방법론을 사용함으로써 압축한다.3. Gaussian 수를 줄이기 위해 zero opacity (invisible Gaussian)을 장려하는 regularizer도 제안한다.이 방법은 모델을 압축하고 rendering 속도를 빠르게 하는데 효과적이다.4. 결론적으로 기존 3DGS에 비해 성능은 약간..

K-means has two steps: updating centroids given assignments, and updating assignments given centroids. We note that the latter is more expensive while the former is a simple averaging. Hence, we update the centroids after each iteration and update the assignments once every t iterations.출처) Compact3D: Smaller and Faster Gaussian Splatting with Vector Quantization 논문을 읽다가 왜 그렇지? 이해가 잘 안되는 부분이 있어서..

# GAN  VAE같은 경우는 경험적이 아닌 수학적으로 접근하다보니까 너무 복잡해서,그냥 sampling했을 때 그럴 듯한 결과가 나오게만 만들면 안될까?explicit density function하지 말고 game theory를 사용해보자! game theory: 2-player game이란?A가 B의 결과를 보고 최적화하고,B는 A가 최적화한 것을 보고 또 최적화한다.이 과정을 반복하다보면, A와 B가 둘다 이익을 얻을 수 없는 단계에 이른다.  decoder가 generator, 그리고 encoder가 discriminator이 되는 구조다.즉, 먼저 generator가 fake image를 만들고discriminator는 real image와 fake image를 받고 각각이 real(1)인지 ..

본 글은 아래 영상을 기반으로 작성하였습니다.https://www.youtube.com/watch?v=GbCAwVVKaHY&list=PLQASD18hjBgyLqK3PgXZSp5FHmME7elWS&index=10  # Variational Autoencoders(VAE) AE 같은 경우에는 encoder가 중요한 반면, VAE는 decoder가 더 중요하다.즉, AE는 차원을 축소하는 게 중요하고, VAE는 새로운 데이터를 생성하는 것이 중요하다. encoder같은 경우에는 바로 $z$를 구하는게 아니라평균 $\mu$와 분산 $\sigma$를 뽑아낸 후 샘플링해서 $z$를 구한다.그리고 여기서 sampling하는 과정에서 Reparameterization Trick $e$을 사용해야 backpropagat..

본 글은 다음 강의를 듣고 정리하였습니다.https://www.youtube.com/watch?v=9mf4maQU7UY&list=PLQASD18hjBgyLqK3PgXZSp5FHmME7elWS&index=7    # Autoencoder Autoencoder은 input과 output이 동일한 딥러닝 모델이고,Encoding은 고차원의 데이터를 저차원으로 압축하는 과정을 의미한다. (ex. 위의 그림, 100차원 -> 2차원)그리고 압축한 것을 다시 원래의 input 형태의 크기로 복원하는 Decoding이 있다. 압축한 부분을 의미하는 $z$는 code, latent variable, feature, hidden representation 등 다양하게 부른다. 분명 본 차원을 줄여 latent varia..

본 게시글은 다음 강의를 듣고 정리한 내용입니다.https://www.youtube.com/watch?v=V9HcvXliJmw&list=PLQASD18hjBgyLqK3PgXZSp5FHmME7elWS&index=6     # Basic Probability  supervised learning과 다르게 unsupervised learning에서는'확률'에 대한 개념이 많이 나오기 때문에 이를 다시 공부하고 넘어갈 필요가 있다.-(조건부 확률 ex.)$ p(x1,x2,x3) = p(x1|x2, x3) * p(x2|x3) * p(x3) $-(전체 확률의 법칙)$ p(y) = \sum_{x} p(x,y) = \sum_{x} p(y|x)p(x) $ 이걸 연속적인 data에 대해 작업을 했을 때가 (Marginal..

이전 PixelCNN 같은 경우에는, 확률 모델이 계산 가능한 함수였는데,VAE(Variational Autoencoders)는 확률 모델이 계산 불가능한 함수로 정의가 된다.따라서, Lower bound(하한선)을 구해서 계산 가능한 형태로 만들어주는게 목적이다. VAE에 대해 바로 들어가기 전에,Autoencoder의 과정인 Encoder와 Decoder에 대해 알아보자.   Autoencoder이란 input data $x$로부터 더 낮은 차원의 feature $z$를 학습하는 방법이다.$z$가 $x$보다 차원이 낮은 이유는, 기존의 input 중에서 '핵심 정보'만을 갖고 있기 때문이다.즉, encoder를 통해 input data에 Noise라고 생각되는 부분은 제거하고 싶다는 뜻이다. 정리해서..

보호되어 있는 글입니다.

# 1. 당장 좋은 것만 선택하는 그리디그리디(Greedy) 알고리즘: 탐욕적 알고리즘의 뜻은, '현재 상황에서 지금 당장 좋은 것만 고르는 방법'을 의미한다.따라서, 매순간 가장 좋아보이는 것을 선택하게 되며, 현재의 선택이 미래에 어떤 영향을 미칠지 고려하지 않는 것이다.따라서 그리디 알고리즘은 '정당성 분석'이 중요하다.단순히 현재 best를 선택해도 그게 최적의 해가 되는지 검토가 필요하다는 소리이다! 코딩 테스트에서 그리디 알고리즘의 문제유형은'사전에 외우고 있지 않아도 풀 수 있을 가능성이 높은 문제 유형'이다.반면 이후에 공부할 정렬, 최단 경로 등의 알고리즘 유형은이미 그 알고리즘의 사용방법을 정확하게 알아야 하는 경우가 많다.또한, 그리디는 기준에 따라 좋은 것을 선택하는 알고리즘이므로문..

2024년 3월에 arxiv에 올라온 논문으로,기존에 3DGS의 가우시안 수 혹은 차원을 줄이기 위한 시도들(LightGaussian, Compact3DGS 등..)의 한계를 언급하며새로운 아이디어를 주장한다는 점에서 흥미로워 읽게 되었다.  Mini-Splatting: Representing Scenes with a Constrained Number of GaussiansIn this study, we explore the challenge of efficiently representing scenes with a constrained number of Gaussians. Our analysis shifts from traditional graphics and 2D computer vision to t..