Tech blog

[Paper Review] NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis (ECCV2020)NeRF 모델은 많은 블로그와 유튜브 자료를 찾아보며 이해하는 수준에 그쳤는데 논문을 정독하니 훨씬 더 이해 정도가 깊어진 기분이다. 직접 글을 써보며 완벽히 내 것으로 만들자! 다음과 같은 dusruddl2.tistory.com ↑ 논문 리뷰를 했었는데 정말 내가 NeRF 모델을 제대로 이해하고 있나? 의문이 들어서 쓰게 된 포스트 헷갈렸던 부분 위주로 간단 리뷰할 예정이다. nerf/tiny_nerf.ipynb at master · bmild/nerfCode release for NeRF (Neural Radiance Fields..

3DGS를 처음 공부하시는 분들이라면 xoft님의 블로그와 유튜브 강의를 먼저 들으시는걸 추천드립니다.전체 알고리즘을 이해하기 쉽게 다뤄주시기 때문에 이해가 쉽습니다 :) 본 글은 논문을 순서대로 읽고 싶은 분에게 도움이 될 것으로 예상합니다. (xoft님의 글을 많이 참고하였습니다.)부족한 지식으로 작성한 글이기 때문에 잘못된 부분이 있을 수 있습니다. 마음껏 지적해주세요! 1. IntroductionMLP를 바탕으로 하는 NeRF 기반의 모델들은 렌더링 속도가 너무 느려 실제 응용에는 제한적이었는데본 논문에서 제안하는 3DGS를 통해(1) training 시간도 이전 방법처럼 빠르게 그리고 (2) 퀄리티도 유지하면서 (3) 렌더링 속도를 매우 향상시킬 수 있었다.(real-time, high-qual..

3DGS의 tile rasterizer 부분을 읽다가 왜 그렇지?하는 생각을 들게 한 부분이 있었다. We then instantiate each Gaussian according to the number of tiles they overlap and assign each instance a key that combines view space depth and tile ID. 왜 가우시안을 그들이 겹치는 타일 수로 인스턴스화하는 것일까? 이는 해당 가우시안이 이미지에 어느정도 영향을 미치는지 반영하기 위해서라고 생각한다. 예를 들어, 한 이미지가 논문처럼 16x16 타일로 분할되어 있다고 생각해보자. 이미지에 projection된 2D 가우시안들을 고려해볼 때, 가우시안이 겹치는 타일 수가 많을 경우 -..

3DGS에서 Cull 3D Gaussian을 할 때,view frustum과의 교차가 99%인 가우시안만을 남기고 나머지는 제거한다고 했다.6 FAST DIFFERENTIABLE RASTERIZER FOR GAUSSIANSwe only keep Gaussians with a 99% confidence interval intersecting the view frustum 도대체 뷰 절두체가 무엇인지 이해해보도록 하자 뷰 절두체(view frustum)이란?피라미드 같은 모양의 윗부분을 밑면에 병렬로 잘라낸 입체 형상즉, 카메라가 볼 수 있는 영역이라고 생각하면 좋다.  카메라와 막대기를 설명한 예시인 아래의 3가지 경우를 생각해보자.1) 카메라 바로 앞에 막대기가 있다면 -> 카메라에는 점만이 보일 것이다..

3DGS 논문에서 사용되고 있는 α-blending도대체 이 논문에서 의미하는 알파 블렌딩이 무엇인지 내 생각을 정리해보겠다. 알파 블렌딩이란?여러 이미지들을 합성할 때, 투명도(α)값을 사용하여 부드럽게 혼합하는 기술이다.아래 사진과 같이 α값이 작으면 더 투명해지고, α값이 커지면 더 불투명해진다. 기존에는 이미지를 오직 RGB 3가지로 표현을 했다면,이미지의 투명한 효과를 구현하거나 (ex. 로고 이미지의 배경 투명하게 or 그림자 효과)여러 이미지를 합성할 때 각 픽셀의 가중치를 제어할 때 사용하기 위해RGB외에 투명도를 추가하여 RGBA 4가지로 표현을 한다.  이 기술을 3DGS 모델에는 어떻게 사용한다는걸까? 3DGS 모델은 SFM points를 통해 3D Gaussian을 만든 후,proj..

NeRF 모델은 많은 블로그와 유튜브 자료를 찾아보며 이해하는 수준에 그쳤는데 논문을 정독하니 훨씬 더 이해 정도가 깊어진 기분이다. 직접 글을 써보며 완벽히 내 것으로 만들자! 다음과 같은 순서로 글이 진행된다. 0. [Abstract] NeRF 간단 설명 1. [Background] Explicit Representation vs Implicit Representation 2. Neural Radiance Field Scene Representation 2.1 Overview 2.2 MLP Network 3. Volume Rendering with Radiance Field 3.1 [Equation 1] The expected color of the input ray. 3.2 [ Equation 2]..

로컬에 저장해둔 workspace 폴더를 깃허브로 올릴 예정이다. 다음 두 가지는 이미 준비되어 있다는 가정하에 진행하겠다 1. Git Bash 설치 2. Github Repo 생성 후 copy된 주소 다음 과정을 한 단계씩 차근차근 수행하면 된다. $ git init $ git status $ git add . $ git commit -m "commit message" $ git remote add origin ***(copied 주소) $ git remote -v $ git push origin master $ git init 로컬 저장소를 생성하는 단계로, 실행 이후, workspace 폴더 안에 .git이라는 폴더가 생긴다 *가끔 오류가 생기는 경우에는, .git 폴더 삭제 후 다시 git ini..

vscode에서 파일의 용량을 확인하고 싶을 때는 다음 확장프로그램을 설치해서 사용하면 되었다 오른쪽 마우스를 누르면 위와 같이 View File Properties가 생겨서 파일 용량을 확인할 수 있었기 때문이다. 그러나 이 프로그램의 경우 폴더의 용량은 확인할 수 없다는 단점이 있었다. 그래서 다음 명령어를 통해 이를 해결하였다 du -sh ./ # 현재 폴더의 총 사용 용량 du -sh */ # 현재 폴더의 하위 폴더별 용량 du -sh ./* # 현재 폴더의 모든 파일, 폴더 용량 다음 폴더를 기준으로 각 명령어를 수행한 결과는 아래와 같다. 순서대로 - 총 사용 용량 - 하위 폴더별 용량 - 모든 파일, 폴더 용량 잘 출력하는 것을 확인할 수 있었다.

처음으로 해보는 작업이라 몇시간이 걸려 겨우 해결했던 과거의 나.. 최근 다른 서버로 연결했는데 몇분도 채 걸리지 않아 글을 씁니다. STEP1) extensions에서 Remote-SSH 깔기 첫번째거만 깔면 나머지는 자동으로 깔렸던 것 같네요! STEP2) config 파일 넣기 ctrl+shift+p을 눌러서 다음으로 들어가기 (.ssh\config 경로로 들어가주세요) 참고로 정말 다양한 블로그를 보면서 config 파일을 만들었었는데 계속 에러가 떠서 그것보다 저의 경우에는 그냥 서버 주소로 jupyter notebook에 들어가 ssh에 관한 파일을 다운 받는게 오류 없이 좋았습니다.. 파일을 다운 받아 vscode로 열면 다음과 같은데요 서버 이름만 지정해서 $SSH_CONNECTION_NA..

Select kernel을 눌렀을 때 어떤 경우에는 내가 원하는 venv 가상환경이 존재하지만 또 다른 경우에는 없을 때가 있었다. 이번 기회에 제대로 알아두기로 하자! Select Kernel을 누르면 Python Environment와 Jupyter로 연결하는 방법이 뜨는데 본 게시물에서는 Python Environment 방법을 다룰 예정이다. 사용할 가상환경은 미리 만들어둔 test_env이다. STEP1) Ctrl + Shift + P를 눌러 'Select Interpreter' 로 들어가기 STEP2) Enter interpreter path 누르기 위 사진의 경우에는 미리 이 과정을 거쳤기 때문에 test_env가 있지만 처음 해보는거라면 원하는 가상환경이 없을 것이다. 그리고 Find를 눌..