[Paper Review] NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis (ECCV2020)

NeRF 모델은 많은 블로그와 유튜브 자료를 찾아보며 이해하는 수준에 그쳤는데

논문을 정독하니 훨씬 더 이해 정도가 깊어진 기분이다. 직접 글을 써보며 완벽히 내 것으로 만들자!

 

다음과 같은 순서로 글이 진행된다.

 

0. [Abstract] NeRF 간단 설명

1. [Background] Explicit Representation  vs  Implicit Representation

2. Neural Radiance Field Scene Representation

2.1 Overview

2.2  MLP Network

3. Volume Rendering with Radiance Field

3.1 [Equation 1] The expected color of the input ray.

3.2 [ Equation 2] Approximation of Equation 1(Stratified Sampling)

4. Optimizing a Neural Radiance Field

4.1 Positional Encoding

4.2  Hierarchical Volume Sampling

 

---

 

0. [Abstract] NeRF 간단 설명

 

 

NeRF는 Input Images 세트로부터

scene의 5D neural radiance field representation를 최적화하는 방법이다.

그리고, volume rendering 기법을 통해 어떤 viewpoint에서도 scene을 만들어낼 수 있다.

 

위의 그림을 보면,

(1) 다양한 위치와 방향에서 촬영된 Drum 사진을 input image를 넣고

(2) NeRF를 학습하여

(3) 새로운 시점에서의 Drum 사진을 만들어낸 과정을 볼 수 있다.

 

---

1. [Background] Explicit Representation  vs  Implicit Representation

 

 

NeRF가 왜 이렇게 많은 관심을 받게 되었을까?

NeRF가 사용하는 방식은 MLP, 즉 인공신경망을 사용한 'Implicit Representation' 방법이기 때문이다.

 

기존에 3D공간을 정의하기 위해서는 전통적으로 pointcloud, voxel, mesh를 이용했다.

이는 실제로 공간에 3D 물체가 정의되어 있는 방법으로  'Explicit Representation' 이라고 한다.

그러나, NeRF는 해당 물체를 모든 방향에서 봐도 이미지를 생성해 볼 수 있다면 3D 렌더링했다고 정의한다.

 

NeRF는 기존의 explicit 방법들이

고정된 그리드나 구조를 필요로 하거나, 너무나 많은 메모리를 요구한다는 문제점을 해결한다.

(3D 지도 같은 경우, 이를 NeRF가 아닌 3D Point나 Mesh로 표현하면 엄청난 메모리가 필요함)

또한, 매우 작은 값으로 방향을 바꾸어도 해당 Scene을 생성할 수 있기에 부드러운 표현이 가능하다.

 

+ 논문에 2장에서 언급한 Related Work을 완벽히 이해하지 못했음. 이후 추가

 

---

2. Neural Radiance Field Scene Representation

 

2.1 Overview

 

NeRF 모델의 overview를 살펴보면 다음과 같다.

(a)

scene을 통과하는 camera ray를 쏜 후, 샘플링하여 sampled set of 3D point를 생성한다.

그리고, 위의 point들의 위치 정보(Position)인 (x,y,z)와 카메라의 방향 정보(Direction)인 (θ,ϕ)을 구한다.

(모델의 input: 5D coordinate (x,y,z,θ,ϕ))

(b)

위의 정보를 입력으로 사용하여 신경망(MLP)에 넣고,

출력값으로 RGB 색상 값과 volume density 밀도 값 σ 을 얻는다.

(모델의 output: (RGB σ))

(c)

Volume Rendering 방법을 사용하여 RGB값과 density값을 누적하여 2D image로 만든다.

(d)

다음 과정은 미분 가능하기 때문에

예측값과 Ground Truth (실제값) 차이의 loss값을 줄이며 모델을 최적화하는 Gradient Descent를 사용한다.

 

 

2.2  MLP Network

 

위에서 사용하는 MLP 구조는 다음과 같다.

(* input의 60, 24 숫자에 대해서는 뒤에서 다룬다 -> 4.1 Positional Encoding)

 

1.

먼저, 3D coordinate x를 input으로 넣어 8 fully-connected layers를 통과시킨다.

(ReLU activations과 layer당 256 channel 사용함)

그리고 output으로 σ와 256-dimensional feature vector을 얻는다.

2. 

위에서 나온 256-dimensional feature vector와 방향정보 view direction을 합쳐서 다시 input을 넣고

1 fully-connected layer을 통과하여 view-dependent RGB color을 얻는다.

(ReLU activation과 layer당 128 channel 사용함)

 

 

 

위의 MLP에서 알 수 있는 것은

volume density σ를 구하기 위해서는 오직 위치정보 x만이 필요하고

view-dependent RGB color을 구하기 위해서는 위치정보 x와 방향정보 d가 함께 필요하다는 것이다.

이는 보는 방향에 따라 밀도 σ 는 동일하지만, RGB 색상은 다르기 때문이다.

 

본 논문에서 view direction을 강조하는 이유는, 위의 그림과 같이

실제로 고정된 위치에 대해 바라보았을 때 보는 View에 따라 emitted radiance가 다르기 때문이다.

 

---

 

3. Volume Rendering with Radiance Field

Overview에서 언급했듯이, MLP를 통해 output인 RGBσ을 얻었다면, 이를 통해 최종 이미지를 만들어낼 수 있다.

그걸 해주는 과정이 바로 Volume Rendering이다.

 

다시 말하면,

지금까지 우리는 하나의 광선 ray를 기준으로, MLP를 통해 샘플링된 여러 point들의  RGBσ를 구했다.

이제는 이 point들의 RGBσ을 합쳐서 그 ray가 표현하는 예상 color을 구하면 되는 것이다.

최종 이미지를 생성한다는 것은 광선을 따라 이동하면서 예상 color을 구하는 것과 같은 의미이다.

 

 

3.1 [Equation 1] The expected color of the input ray.

 

 

하나의 광선 ray은 다음과 같은 식으로 표현한다.

 

 

그리고 그 ray에서의 예상 color은 다음의 식과 같다.

가장 가까운 점부터 원격 점까지 아래 식들의 곱을 이용해 적분값을 구한다.

 

(1) T(t): 근접점으로부터 현재 point까지의 density를 합한 값을 exp 처리한 값

- 밀도를 합한 값이 작다면  -> T(t)가 커져 -> 이전의 point들이 아니라 현재 위치인 t가 중요하다는 것을 의미

- 밀도를 합한 값이 크다면 -> T(t)가 작아져 -> 현재 위치인 t보다 앞의 point들 중에 더 중요한 곳이 있었다는 것을 의미

(2) σ(r(t)): volume density 값

(3) c(r(t),d): color RGB 값

- view-dependent color이므로 위치정보뿐 아니라 density까지 입력값으로 넣은 것을 확인할 수 있다.

 

3.2 [ Equation 2] Approximation of Equation 1(Stratified Sampling)

 

그러나 3.1의 식은 continuous하기 때문에

sampling하여 각각의 point들에 대해 값을 구하는 NeRF에서는 사용할 수 없다.

따라서, 본 논문에서는 discrete하게 하기 위해 식을 수정하여 사용하였다.

 

 

일단 현재의 위치 t를

Stratified Sampling을 하여 N등분해서 동일한 간격으로 쪼개어 정의한다.

 

 

그리고 ray에서의 예상 color도 위와 같은 식으로 바꾸어 진행하였다.

 

---

4. Optimizing a Neural Radiance Field

아쉽지만, 위에서 제시한 MLP와 Volume Rendering 방법만으로는 SOTA를 달성할 수 없었다.

따라서 성능을 더 높이기 위해 본 논문에서는 다양한 기법을 추가로 이용하였다.

바로, (1) Positional Encoding과 (2) Hierarchical Volume Sampling이다.

 

4.1 Positional Encoding

 

신경망은 낮은 주파수 함수(lower frequency functions) 방향으로 학습하는 경향이 있어서

고주파의 변동을 잘 표현하지 못한다는 문제가 발생하였다.

이를 해결하기 위해 고주파함수(high frequency function)를 사용하여

입력(input)을 높은 차원의 공간(higher dimensional space)으로 매핑한 후에 네트워크에 전달함으로써

더 나은 데이터 적합성을 얻는 과정이 바로 'Positional Encoding'이다.

 

한마디로 정리하면,

원래의 input은 5D coordinate였지만, 차원을 늘려서 모델에 넣겠다 소리이다.

 

 

위의 식과 같은 encoding 방법을 사용한다.

Positional Encoding에 대해 배웠으니, 위에서 언급했던 MLP의 input들을 자세히 설명할 수 있다.

 

 

1. 위치정보 r(x)

기존의 위치정보 x는 3D이지만, L  = 10을 통해 차원이 60인 r(x)로 매핑했다.

식) 3 x (10 x 2) = 60

: x2가 붙는 이유는 sin cos 2배가 생기기 때문이다.

2. 방향정보 r(d)

기존의 방향정보 d 역시 3D이지만, L = 4를 통해 차원이 24인 r(d)로 매핑했다.

(d가 3D인 이유는 위치정보 x,y,z 각각에 대한 방향을 저장하기 때문이다.)

식) 3 x (4 x 2) = 24

 

위의 결과에서 볼 수 있듯이, Positional Encoding 방법을 통하여

연속적인 입력 좌표를 더 높은 차원의 공간으로 매핑함으로써 MLP가 더 높은 주파수 함수를 보다 쉽게 근사할 수 있었다.

 

 

4.2  Hierarchical Volume Sampling

기존의 Volume Rendering 방법이 효율적이지 않다는 점을 지적하며 이를 해결하기 위해 제안된 방법이다.

이를 통해, rendered image에 거의 기여하지 않는 부분들에 대한 샘플링을 줄이고,

findal rendering에 미칠 영향을 고려하여 그에 비례해 할당함으로써 렌더링 효율성을 높이는 방법을 제시한다.

쉽게 말하면, 증요한 정보가 있는 곳은 더 자세히 보고 그렇지 않은 곳은 대충 고려하겠다는 방법이다!

 

이 방법은 "coarse"와 "fine"이라는 2개의 네트워크를 사용한다. 

1. stratified sampling을 통해 Nc개의 t를 뽑고, 이를 이용해  Coarse Network를 학습시킨다.

2. Coarse Network를 통해 얻은 Distribution(T(r))에 따라 Nf개의 t를 추가적으로 뽑는다.

3. 총 Nc + Nf의 Sample을 이용해 Fine Network를 학습시킨다.

 

> 위의 내용은 https://www.youtube.com/watch?v=zkeh7Tt9tYQ&t=1900s을 참고하여 정리했다.

 

 

그리고 마지막으로, loss는 coarse와 fine의 오차를 각각 제곱합으로 더해 다음과 같은 식으로 표현할 수 있다.

 

 

---

 

 

 

(2024.04.04)

80% 수준 정도로 이해한 것 같은데 코드까지 봐야 더욱 제대로 설명할 수 있을 것 같다.

 

+추가로 참조하면 좋을 블로그

https://jaeyeol816.github.io/neural_representation/nerf-nerf-basic-theory/