Tech blog

본 게시글은 다음 강의를 듣고 정리한 내용입니다.https://www.youtube.com/watch?v=V9HcvXliJmw&list=PLQASD18hjBgyLqK3PgXZSp5FHmME7elWS&index=6     # Basic Probability  supervised learning과 다르게 unsupervised learning에서는'확률'에 대한 개념이 많이 나오기 때문에 이를 다시 공부하고 넘어갈 필요가 있다.-(조건부 확률 ex.)$ p(x1,x2,x3) = p(x1|x2, x3) * p(x2|x3) * p(x3) $-(전체 확률의 법칙)$ p(y) = \sum_{x} p(x,y) = \sum_{x} p(y|x)p(x) $ 이걸 연속적인 data에 대해 작업을 했을 때가 (Marginal..

이전 PixelCNN 같은 경우에는, 확률 모델이 계산 가능한 함수였는데,VAE(Variational Autoencoders)는 확률 모델이 계산 불가능한 함수로 정의가 된다.따라서, Lower bound(하한선)을 구해서 계산 가능한 형태로 만들어주는게 목적이다. VAE에 대해 바로 들어가기 전에,Autoencoder의 과정인 Encoder와 Decoder에 대해 알아보자.   Autoencoder이란 input data $x$로부터 더 낮은 차원의 feature $z$를 학습하는 방법이다.$z$가 $x$보다 차원이 낮은 이유는, 기존의 input 중에서 '핵심 정보'만을 갖고 있기 때문이다.즉, encoder를 통해 input data에 Noise라고 생각되는 부분은 제거하고 싶다는 뜻이다. 정리해서..

보호되어 있는 글입니다.

# 1. 당장 좋은 것만 선택하는 그리디그리디(Greedy) 알고리즘: 탐욕적 알고리즘의 뜻은, '현재 상황에서 지금 당장 좋은 것만 고르는 방법'을 의미한다.따라서, 매순간 가장 좋아보이는 것을 선택하게 되며, 현재의 선택이 미래에 어떤 영향을 미칠지 고려하지 않는 것이다.따라서 그리디 알고리즘은 '정당성 분석'이 중요하다.단순히 현재 best를 선택해도 그게 최적의 해가 되는지 검토가 필요하다는 소리이다! 코딩 테스트에서 그리디 알고리즘의 문제유형은'사전에 외우고 있지 않아도 풀 수 있을 가능성이 높은 문제 유형'이다.반면 이후에 공부할 정렬, 최단 경로 등의 알고리즘 유형은이미 그 알고리즘의 사용방법을 정확하게 알아야 하는 경우가 많다.또한, 그리디는 기준에 따라 좋은 것을 선택하는 알고리즘이므로문..

2024년 3월에 arxiv에 올라온 논문으로,기존에 3DGS의 가우시안 수 혹은 차원을 줄이기 위한 시도들(LightGaussian, Compact3DGS 등..)의 한계를 언급하며새로운 아이디어를 주장한다는 점에서 흥미로워 읽게 되었다.  Mini-Splatting: Representing Scenes with a Constrained Number of GaussiansIn this study, we explore the challenge of efficiently representing scenes with a constrained number of Gaussians. Our analysis shifts from traditional graphics and 2D computer vision to t..

3DGS 논문을 읽다가 수식을 보고 든 궁금증이다. 먼저, world 좌표계에서 covariance matrix(공분산행렬)은,(1) 크기변환행렬(scaling matrix) S와 (2) 회전변환행렬(rotation matrix) R을 이용해서 $$\sum = RSS^{T}R^{T}$$다음과 같은 식으로 변환한다. 또한, image 좌표계에서 공분산행렬은,(1) world좌표계에서 camera좌표계로 변환하는 viewing transform과 (2) camera좌표계에서 image좌표계로 변환하는 projective transformation에 대한 아핀근사의 Jacobian을 이용해서 $$  \sum^{'} = JW \sum W^{T}J^{T} $$위의 식으로 표현한다.  두 식을 살펴보면 왜 전치행렬..

Radsplat 논문을 읽다가 3DGS의 한계점으로,휴리스틱 기법으로 인해 optimization하기 어렵다는 얘기가 있었다.3DGS, however, suffers from a challenging optimization landscape and an unbounded model size.The number of Gaussian primitives is not known as a priori, and carefully-tuned merging, splitting, and pruning heuristics are required to acheive satisfactory results.The brittlenenss of these heuristics become particularly evident in..

[Paper Review] NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis (ECCV2020)NeRF 모델은 많은 블로그와 유튜브 자료를 찾아보며 이해하는 수준에 그쳤는데 논문을 정독하니 훨씬 더 이해 정도가 깊어진 기분이다. 직접 글을 써보며 완벽히 내 것으로 만들자! 다음과 같은 dusruddl2.tistory.com ↑ 논문 리뷰를 했었는데 정말 내가 NeRF 모델을 제대로 이해하고 있나? 의문이 들어서 쓰게 된 포스트 헷갈렸던 부분 위주로 간단 리뷰할 예정이다. nerf/tiny_nerf.ipynb at master · bmild/nerfCode release for NeRF (Neural Radiance Fields..

3DGS를 처음 공부하시는 분들이라면 xoft님의 블로그와 유튜브 강의를 먼저 들으시는걸 추천드립니다.전체 알고리즘을 이해하기 쉽게 다뤄주시기 때문에 이해가 쉽습니다 :) 본 글은 논문을 순서대로 읽고 싶은 분에게 도움이 될 것으로 예상합니다. (xoft님의 글을 많이 참고하였습니다.)부족한 지식으로 작성한 글이기 때문에 잘못된 부분이 있을 수 있습니다. 마음껏 지적해주세요! 1. IntroductionMLP를 바탕으로 하는 NeRF 기반의 모델들은 렌더링 속도가 너무 느려 실제 응용에는 제한적이었는데본 논문에서 제안하는 3DGS를 통해(1) training 시간도 이전 방법처럼 빠르게 그리고 (2) 퀄리티도 유지하면서 (3) 렌더링 속도를 매우 향상시킬 수 있었다.(real-time, high-qual..

3DGS의 tile rasterizer 부분을 읽다가 왜 그렇지?하는 생각을 들게 한 부분이 있었다. We then instantiate each Gaussian according to the number of tiles they overlap and assign each instance a key that combines view space depth and tile ID. 왜 가우시안을 그들이 겹치는 타일 수로 인스턴스화하는 것일까? 이는 해당 가우시안이 이미지에 어느정도 영향을 미치는지 반영하기 위해서라고 생각한다. 예를 들어, 한 이미지가 논문처럼 16x16 타일로 분할되어 있다고 생각해보자. 이미지에 projection된 2D 가우시안들을 고려해볼 때, 가우시안이 겹치는 타일 수가 많을 경우 -..