[Paper Review] Mini-Splatting: Representing Scenes with a Constrained Number of Gaussians

2024년 3월에 arxiv에 올라온 논문으로,

기존에 3DGS의 가우시안 수 혹은 차원을 줄이기 위한 시도들(LightGaussian, Compact3DGS 등..)의 한계를 언급하며

새로운 아이디어를 주장한다는 점에서 흥미로워 읽게 되었다.

 

Mini-Splatting: Representing Scenes with a Constrained Number of Gaussians

GitHub - fatPeter/mini-splatting

 

---

1. Introduction

최근 3DGS의 등장으로 real-time rendering이 가능해지면서, 3D application에 적용할 수 있는 가능성이 열렸다.

그러나 모든 정보를 MLP에 저장하는 기존의 NeRF-based 모델과 다르게

3DGS 모델은 scene을 디테일하고 사실적으로 모델링하기 위해 수백만개의 타원형의 가우시안들을 필요로 하는 문제가 있었다.

(Mip-NeRF360 dataset에서 각 scene에 대해 100만~600만개 필요)

 

이는 모델의 비효율성으로까지 이루어졌는데

그 이유는, 두번째 그림과 같이 projected된 가우시안들이 뭉치는 현상이 발생했고 (overlapping, under-reconstruction)

이렇게 가우시안들이 고른 분포를 이루지 않고 중간에 뭉쳐있는 형태는 모델의 quality와 speed를 제한했기 때문이다.

따라서 본 논문에서는 가우시안의 수를 제한함으로써 scene을 더 균등하게 표현하는 것을 목표로 했다.

 

최소한의 가우시안 수로 최적화하는 방법은 현재 진행 중인데 아래와 같은 연구들이 선행되었다.

1. Niedermayr et al.

: image gradient로부터 얻은 parameter sensitivity에 기반한 가우시안 pruning

2. Lee et al. & LightGaussian

: Gaussian opacity와 scale에 기반한 가우시안 pruning

=> 그러나 위와 같은 direct pruning들은 오직 storage compression에만 주목했기 때문에
input Gaussian의 비효율적인 spatial distribution을 고려하지 않았다.

그 결과로, 최적(optimal)이 아닌 차선(suboptimal)의 simplication 수준만 구현이 가능했다.

 

또한, 대부분의 3D 데이터 simplification 알고리즘은

feature point와 geometric structure을 보존하는데 중점을 두었기 때문에

3DGS와 같이 밀집된 optimizable parameter를 갖춘 explicit representation에는 적합하지 않았다.

 

---

 

따라서, 본 논문은 Gaussian densification과 simplification을 사용하여

기존에 direct하게 가우시안을 삭제하는 방법이 아닌, 가우시안들의 공간적 위치를 조정하는 방법을 사용한다.

• Gaussian densification
  • blur split) blurring area에 해당하는 Gaussian들을 split하는 방법
  • depth reinitialization) 장면을 재초기화하기 위해 merged depth point 사용하는 방법
• Gaussian simplication
  • intersection preserving) 렌더링된 이미지에 가장 큰 영향을 미친 가우시안 보존하는 방법
  • sampling) 원래 모델의 기하학적 구조와 렌더링 품질을 보존하도록 설계된 샘플링 방법

위의 방법들을 통해 가우시안의 공간 분포를 더 균일하고 효율적으로 만들게 되었다.

 

---

4. Methodology

Gaussian의 공간적 위치(spatial distribution)을 재조정함으로써

렌더링 퀄리티를 유지하면서 Gaussian의 수를 줄이는 방법으로 densification과 simplification을 제안한다.

4.1 Densification

Blur Split

이는 렌더링된 이미지에 생기는 blur 아티팩트를 다루기 위해 제안된 방법이다.

기존의 3DGS에서 gradient기반의 split와 clone방식은

색상 전환이 부드러운 곳에서는 잘 작동하지 않아서 optimization 단계에서 oversized된 가우시안들이 남아있었기 때문에

아래 알고리즘과 같이 projected 했을 때 너무 큰 가우시안들을 삭제해주었다.

그러나, 다음 방식은 특정 구역에 있는 정보가 모두 사라지는 under-reconstruction 문제가 발생했고

이는 렌더링된 이미지에서 블러 현상으로 이어졌다

 

 

이를 방지하기 위해, 각 이미지에서 블러 영역이 큰 가우시안을 식별하고 이를 split하는 방법을 제안한다.

under-reconstruction의 원인이 되는 가우시안을 찾아내기 위해 가우시안의 최대 기여 영역(maximum contribution area)을 사용한다.

(이는 해당 가우시안이 알파 블렌딩에서 가장 크게 기여하는 영역을 의미함)

그리고 이 기여 영역이 특정 임계값을 초과하는 가우시안을 블러 가우시안(Gblur)로 식별한다.

 

ㅇ