[Paper Review] 3D Gaussian Splatting for Real-Time Radiance Field Rendering (SIGGRAPH 2023)

3DGS를 처음 공부하시는 분들이라면 xoft님의 블로그와 유튜브 강의를 먼저 들으시는걸 추천드립니다.

전체 알고리즘을 이해하기 쉽게 다뤄주시기 때문에 이해가 쉽습니다 :)

 

본 글은 논문을 순서대로 읽고 싶은 분에게 도움이 될 것으로 예상합니다. (xoft님의 글을 많이 참고하였습니다.)

부족한 지식으로 작성한 글이기 때문에 잘못된 부분이 있을 수 있습니다. 마음껏 지적해주세요!

---

 

1. Introduction

MLP를 바탕으로 하는 NeRF 기반의 모델들은 렌더링 속도가 너무 느려 실제 응용에는 제한적이었는데

본 논문에서 제안하는 3DGS를 통해

(1) training 시간도 이전 방법처럼 빠르게 그리고 (2) 퀄리티도 유지하면서 (3) 렌더링 속도를 매우 향상시킬 수 있었다.

(real-time, high-quality radiance field rendering) 

-

3D scene을 표현하는 방법에는 크게 2가지가 있다.

첫번째는 mesh와 point와 같은 explicit한 방법이다.

이는 GPU/CUDA-based rasterization이 빠르다는 장점을 가지고 있다.

두번째는 MLP를 사용한 NeRF 기반의 implicit한 방법이다.

이는 continuous하게 scene을 표현할 수 있다는 장점을 가지고 있다.

 

3DGS는 이 두 방법의 장점만을 결합하여 새롭게 제안하는 메소드라고 생각하면 좋다.

즉, rasterization이 빠르기 때문에 rendering 속도가 빠르고

3D 가우시안을 사용하기 때문에 미분 가능한 표현이 가능하다.

 

---

 

3. Overview

 

 

(Initialization)

SFM으로 얻은 point cloud로부터 3D Gaussians를 얻는다.

3D Gaussian은 (1) point(mean) (2) covariance matrix (3) 투명도 opacity $\alpha$ (4) SH-based color로 정의된다.

(Projection)

카메라 pose값을 이용해서 3D Gaussian을 2D Gaussian으로 projection한다.

즉, Image Plane 위로 위치시킨다.

(Differentiable Tile Rasterizer)

Image를 tile단위로 나누어 rasterization을 진행한다.

즉, 여기서 rendering된 이미지가 나오는 것이다

이후에, GT이미지와 비교하여 loss값을 구하고 이에 대한 gradient를 전파한다.

(Adaptive Density Control)

loss값을 줄이는 방향으로 Gaussian을 업데이트한다.

 

---

4. Differentiable 3D Gaussian Splatting

(1) SFM points without normal(법선)

이전에 2D points들을 사용하여, 각각의 포인트를 normal를 갖는 작은 평면원(planar circle)로 가정하는 연구가 있었다.

동일한 아이디어로 진행하려다 보니 문제점이 발생했는데,

이는 바로 SFM point들은 매우 sparse하게 나타나기 때문에 normal을 추정하기 매우 어렵다는 것이었다.

이를 보완하기 위해 SFM point로 시작하지만, normal 정보가 필요없는 3D Gaussians를 사용하기로 했다.

(Q.왜 3D Gaussian을 사용할까?에 대한 대답이 될 수 있다)

3D 가우시안에서 평균을 의미함

 

(2) 3D Gaussian

3D 가우시안의 장점으로는 크게 두 가지가 있다.

우선 미분 가능(differentiable) 하고,

2D splat으로 쉽게 projection 할 수 있기 때문에 rendering을 위한 α-blending 이 빠르다.

(3DGS에서 α-blending 이해하기)

 

본 실험에서는 3D covariance matrix $\sum$을 사용해 가우시안들을 아래와 같은 식으로 정의했다.

$$ G(x) = e^{-1/2(x)^{T}\sum^{-1}(x)} $$

각각의 가우시안은 blending process에서 투명도 값 $\alpha$ 와 곱해진다.

 

(3) Covariance Matrix $\sum$

$$\sum = RSS^{T}R^{T}$$

• $R$은 rotation matrix, $S$는 scale matrix
  • 쉽게 말하면, 가우시안이 얼마나 회전되어 있고 크기가 얼만큼인지에 대한 변수이다.

(Q.왜 transpose배열을 곱하는지?에 대한 대답)

• positive semi-definite(양의 준정부호)을 만족하기 위한 matrix

3D 가우시안에서 퍼진 정도를 표현하는 분산을 의미함

 

(4) 3D->2D projection

rendering하기 위해서는 3D가우시안을 2D가우시안으로 바꾸는 과정이 필요하다.

그 과정은 아래와 같다.

$$  \sum^{'} = JW \sum W^{T}J^{T} $$

• $\sum$: word 좌표계에서의 covariance matrix
• $W$: word 좌표계에서 camera 좌표계로 바꿔주는 viewing transformation
• $J$: camera 좌표계에서 image 좌표계로 바꿔주는 projective transformation의 affine 근사인 Jacobian
• 즉, world 좌표계(3D)에서 image 좌표계(2D)로 바꾸는 식이다.

 

(5)  gradient 미분 방법

자동 미분에 대한 오버헤드가 발생할 수 있기 때문에,

모든 파라미터에 대한 gradient를 명시적으로 계산했다. (1. position 2. covariance 3. opacity 4. color)

(appendix A. 참고)

 

 

 

---

5. Optimization with Adaptive Density Control of 3D Gaussians

최종적으로는 optimization을 통해

radiance field를 잘 나타내는 3D 가우시안을 얻기 위해 아래의 parameter들을 업데이트한다.

• $p$: 위치정보(positions)
• $\alpha$: 투명도
• $\sum$: covariance matrix
• $c$: SH 기반의 color

 

파라미터들을 업데이트 하는 과정은 Gaussian의 density를 조절하는 것과 긴밀히 연관되어 있다. (5.2에서 자세히)

 

---

5.1 Optimization

optimization은 rendering하고 이 결과물(resulting image)을 GT 이미지와 comparing하는 과정의 연속이다.

이때 3D에서 2D로 projection하는 과정에서 잘못 positioned된 geometry가 발생될 가능성이 존재한다.

따라서 optimization을 통해,

(1) geometry를 생성하고 (2) 잘못 positioned된 부분에 대해서는 geometry를 destory 혹은 move 한다.

 

(실험에서 사용한 detail)

• SGD 알고리즘
• $\alpha$:  시그모이드 활성화 함수(sigmoid activation function) 사용
  •  0과 1의 값 사이로 제한하고, smooth gradient를 얻기 위해
• $S$(scale of the covariance): 지수 활성화 함수(exponential activation function) 사용
• covariance matrix의 초기값은
  가장 가까운 세 점까지의 거리의 평균을 축으로 하는 이방성 가우시안(isotropic Gaussian)
  
  

Isotropic Gaussian: (특정 속성이) 방향에 따라 변하지 않는 가우시안 (구 모양)
<->
Anisotropic Gaussian: (특정 속성이) 방향에 따라 변하는 가우시안 (타원체 모양)

• $p$(positions): standard exponential decay scheduling 기법 사용 (plenoxel에서처럼)
• loss function은 $L_{1}$과 $D-SSIM$을 합친 아래의 식
  $$ L = (1-\lambda)L_{1} + \lambda L_{D-SSIM}$$
  : $\lambda$는 0.2 사용

---

5.2 Adaptive Control of Gaussians

SFM으로부터 얻은 sparse points들을 초기값으로 시작하여

메소드를 적용해

Gaussians의 수와 단위 체적(unit volume)당 밀도 값을 조절(control)한다.

다시 말해, sparse한 Gaussians으로 시작해 scene을 더 잘 나타내는 dense한 집합으로!
scene을 잘 표현하는 3D Gaussian들을 찾는 과정이라고 해석하면 좋다.

 

초기 warm-up 후에는

100번의 iteration마다 가우시안을 조밀하게 만들고, 주로 threshold보다 작은 투명한 가우시안을 제거한다.

(Remove Gaussian)

그리고, 빈 영역(empty area)를 채우기 위한 작업을 한다.

이때, under-reconstruction 부분과 over-reconstruction 부분에 집중하는데

이 두 경우 모두 view-space positional gradient가 크다는 것을 관찰된다.

under과 over 모두 잘 reconstruction되지 않았기 때문에 optimization은 이를 고치기 위해 가우시안을 move하려 한다고 생각하면 좋다.

view-space positional gradient에 대한 설명

view-space는 아래 그림처럼 카메라 기준으로 world를 바라본 공간을 의미한다.
rendering된 이미지와 GT 이미지 사이의 loss값을 계산하게 되니 view-space라는 것은 충분히 이해가 간다.

positional gradient란 loss를 position에 대해 미분한 값이다.
positional gradient가 크다 = loss가 크다 = 가우시안의 position 수정이 필요하다
위와 같이 해석할 수 있으므로, positional gradient가 큰 경우는 가우시안을 clone하거나 split하는 것이다.

 

 

under-reconstruction인지 over-reconstruction인지에 따라서 optimize하는 방법은 다르다.

아래 그림에서 이를 자세히 이해할 수 있다.

1. under-reconstruction된 경우

우리가 목표로 하는 geometry(검은색)보다 가우시안이 작은 경우 발생한다.

이때는 가우시안을 clone하게 되는데

(1) 동일한 사이즈의 가우시안을 생성(create)하고 (2) positional gradient 방향으로 생성된 가우시안을 이동시킨다.

(Clone Gaussian)

total volume 증가, 가우시안 수 증가

 

2. over-reconstruction된 경우

우리가 목표로 하는 geometry(검은색)보다 가우시안이 큰 경우 발생한다.

이때는 가우시안을 split하게 되는데

(1) 기존의 가우시안을 2개의 새로운 가우시안으로 대체(replace)하고, 

(2) 새로운 가우시안의 위치는 기존의 가우시안을 샘플링하기 위한 확률밀도함수(PDF)로 초기화된다.

(Split Gaussian)

total volume 유지, 가우시안 수 증가

 

두 경우 모두 가우시안의 수가 늘어나기 때문에 이를 the number of Gaussians 적절히 조절하기 위해

$N=3000$일 때 투명도 $\alpha$를 0에 가까운 값으로 설정한다.

optimization과정을 통해서 $\alpha$ 값은 계속 증가할 것이기 때문에

$\alpha$값을 주기적으로 줄여줌으로써 불필요한 가우시안을 제거하는 것이다.

> 이는 퀄리티 관점에서 floater을 제거하고 중복된 가우시안을 제거하는 것과 같은 의미를 갖는다.

 

---

6. Fast Differentiable Rasterizer for Gaussians

본 논문의 완전 미분 가능한 rasterizer은

memory consumption이 적고, pixel당 상수 오버헤드만 필요하여

임의 개수의 혼합된 가우시안에 대한 효율적인 back propagation이 가능하게 합니다.

 

그럼 아래의 알고리즘을 참고하여 순서대로 설명보겠습니다.

 

1. 가우시안 제거 (Cull Gaussian)

카메라가 바라보는 영역인 view frustum에 없는 3D 가우시안은 모두 제거한다.

이를 판단하는 기준은, view frustum와 교차하는 부분이 99%의 신뢰구간을 가져야 한다.

또한, Image plane에 가까우면서 view frustum에 멀리 떨어진

극단적인 위치에 있는 가우시안에 대해서는 guard band 방법을 사용하여 제거한다.

(view frustum에 대한 설명)

 

 

2.  3D 가우시안 -> 2D 가우시안 (Screen Space Gaussian)

3D 가우시안을 Image Plane을 projection하여 2D 가우시안을 얻는 과정이다.

이때, 3D 가우시안의 $M$(mean)과 $S$(covariance)뿐만 아니라 카메라 포즈($V$)까지 필요하다.

projection을 통해 Image Plane에서 2D 가우시안의 $M'$과 $S'$을 얻을 수 있다.

 

3.  Tile 만들기 (Create Tiles)

이미지를 16x16 tile로 작게 나눈다.

 

4.  각 2D 가우시안에게 key 할당 (Duplicate with Keys)

겹치는(overlap) tile의 개수에 따라서 2D Gaussian을 instance화 한다.

그리고 각각의 instance(가우시안)에 view space depth와 tile ID를 결합한 key를 할당한다.

앞쪽 32bit는 depth정보가 encoding되고,

뒷쪽 32bit는 overlap되는 tile의 index가 encoding된다.

 

(Q. 왜 tile수로 인스턴스화할까?에 대한 대답)

 

5.  key에 따라서 가우시안 정렬 (Sort by Keys)

위에서 부여한 key로 가우시안을 sorting한다.

이때, tile마다 모든 splat에 대해 depth ordering를 수행한다.

즉, 각 tile 위에는 여러 splat(2D 가우시안)이 겹쳐있기 때문에 이를 깊이 순서대로 정렬하는 것이다.

 

6. tile마다 Gaussian  list 생성 (Identify Tile Ranges)

가우시안을 정렬한 이후에, 각각의 tile에서

깊이 순서(depth-sorted)대로 정렬한 가우시안 중 처음과 끝을 식별함으로써 list를 생성한다.

 

7. 가우시안 list를 읽기 (Get Tile Range)

이미지의 모든 tile에 대해서 Range r을 불러온다.

 

8. 순서대로 혼합 (Blend in Order)

각각의 tile마다 하나의 thread block으로 실행된다.

각각의 block은 앞에서부터 뒤로 순회하면서 color와 $\alpha$값을 축적(accumulate)한다.

(즉, 카메라로부터 거리가 가까운 가우시안들을 먼저 축적하겠지)

 

픽셀의 $\alpha$ 값이 목표 포화(saturation) 수준에 도달하면(1의 값에 근사), 해당 thread는 중지된다.

이는, 해당 픽셀이 원하는 투명도를 달성했기 때문에 추가 처리가 필요하지 않기 때문이다.

 

이전 연구와 다르게 gradient update를 받는 Gaussian의 개수를 제한하지 않았다.

이 덕분에, scene에 따른 hyperparameter tuning 없이도, 다양한 깊이 복잡성(depth complexity)을 가진 장면을 다루고 정확하게 학습할 수 있도록 하였다.

---

7. Implementation, Results and Evaulation

PSNR(영상 화질 손실양 평가지표): 클수록 좋음
SSIM(영상 화질 손실양 평가지표): 클수록 좋음
LPIPS(이미지 간의 인간의 시각적인 유사성을 측정): 작을수록 좋음

Instant-NeRF와 비교했을 때 train속도는 비슷하나, 퀄리티적으로 더 우수할 뿐 아니라 (PSNR, SSIM, LPIPS) 렌더링 시간이 압도적으로 빨랐다.

또한, Mip-NeRF360과 비교했을 때는 퀄리티는 유사하면서도 train과 렌더링 시간이 매우 빨랐다.

그러나 아쉬운 점으로는, point cloud를 사용하다 보니까 메모리 사용량이 높았다.

 

(Mip-NeRF360은 A100 4장, 나머지는 A6000을 사용했다고 한다.)

 

7.4 Limitations

1. scene이 잘 관찰되지 않은 지역에서는 아티팩트 발생

(Mip-NeRF에서도 유사한 문제를 겪고 있다.)

 

2. popping 아티팩트 | optimization 과정에서 큰 가우시안이 생성되는 경우 발생

이 현상이 발생하는 이유는 rasterizer단계에서 guard band를 거친 rejection of Graussian 때문이기에

조금 더 이론적인 culling approach를 사용한다면 해결될 수 있을 것으로 예상한다.

두번째 이유로는, depth/blending order을 갑작스럽게 switching하는 Gaussian을 만들 수 있는 간단한 visibility 알고리즘 때문이다. 이는 antialising으로 해결될 수 있을 것이며, 미래 연구를 위해 남겨두었다고 한다.

 

3. 어떠한 regularization도 적용할 수 없다.

이를 도입하면, unseen 지역이나 popping artifact 문제를 해결할 수 있을 것이라고 한다.

 

4. 이전 연구의 point기반에 비해서는 compact할지라도, NeRF 모델에 비하면 memory consumption이 매우 크다

large scene에 대해서는 GPU 사용량의 피크가 20G를 초과하기도 한다.

그러나 이 문제는, instant-NeRF와 같이 optimization logic의 low-level implementation으로 해결할 수 있을 것이다.

 

 

---

참고 블로그 링크

https://clean-dragon.tistory.com/13

[논문리뷰] 3D Gaussian Splatting

https://xoft.tistory.com/51

[논문 리뷰] 3D Gaussian Splatting (SIGGRAPH 2023) : 랜더링 속도/퀄리티 개선