[Paper Review] Compact3D: Smaller and Faster Gaussian Splatting with Vector Quantization

0. Abstract

1. 많은 Gaussian들이 similar parameters를 공유한다는 점을 발견했다

2. 따라서, Gaussian parameters를 quantize하기 위해 K-means 기반의 vector quantization 방법론을 제시한다.

이때 각각의 Gaussian의 코드 index와 함께 codebook을 저장한다.

추가로 인덱스는 정렬한 후 run-length encoding과 비슷한 방법론을 사용함으로써 압축한다.

3. Gaussian 수를 줄이기 위해 zero opacity (invisible Gaussian)을 장려하는 regularizer도 제안한다.

이 방법은 모델을 압축하고 rendering 속도를 빠르게 하는데 효과적이다.

4. 결론적으로 기존 3DGS에 비해 성능은 약간 떨어지지만,

storage cost는 40x - 50x 배로 줄일 수 있었고, rendering time은 2x-3x 배 정도 빨라졌다.

---

 

1. Introduction

3DGS의 한계점은, NeRF모델에 비해 저장해야 할 parameter 수가 많다는 것이다.

이는 모델의 저장공간도 많이 들고, 결과적으로는 작은 device에서의 real-world application에 적용하는데 어려움이 있다.

대표적인 예시로는 AR/VR headset에 적용할 때 storing, communicating, rendering 면에서 큰 한계를 제시한다.

따라서 본 논문에서는 (1) Vector Quantization (2) Regularization 이렇게 두 방법을 제시하고 자세히 살펴보겠다.

 

---

2. Method

3DGS의 parameters를 압축하는 방법으로는 training 중에 Vector Quantization을 사용하고

Gaussian의 수를 줄이는 방법으로는 opacity parameter를 Regularizing하는 방법을 사용한다.

 

 

 

2.1 Vector Quantization

하나의 가우시안은 59개의 파라미터를 갖는데, scene을 구성하기 위해서는 최소한 100만개의 가우시안이 필요하다.

얼마나 많은 파라미터 수를 저장해야 한다는 말인가!

따라서, 본 논문에서 제시하는 가장 핵심 아이디어는

많은 가우시안들이 비슷한 parameter (e.g. covariance)를 공유하기 때문에 이를 중복해서 저장하지 말자는 말이다!

 

1. 3DGS 모델에는 $N$개의 가우시안이 있고, 각 가우시안은 $d$차원의 parameter vector로 이루어져 있다.

2. K-Means 알고리즘을 사용하여 이 $d$차원의 파라미터 벡터들을 $K$개의 클러스터로 묶는다.

여기서 $K$는 클러스터 수를 의미하고 일반적으로 $N$보다 훨씬 작다.

3. 클러스터링 후, 각 클러스터의 중심(centroid) 벡터 $K$개를 저장한다. 각 중심 벡터의 크기는 $d$이다.

각 가우시안은 어느 클러스터에 속하는지에 대한 정보가 필요하다.

이를 위해 $N$개의 정수 인덱스(각 가우시안마다 하나씩)를 저장한다.

이 인덱스는 각 가우시안이 속한 클러스터를 나타낸다.

 

이 방법은 결과적으로, N개의 d차원 벡터를 K개의 d차원 벡터와 N개의 정수 인덱스로 대체한다.

N이 K보다 훨씬 크기 때문에, 이 방법은 큰 압축 비율을 달성할 수 있다.

 

---

그러나 단순히 학습된 model parameter들을 clustering하는 것은 성능 면에서 나빠질 수 있다.

따라서 본 논문에서는 아래와 같은 방법을 사용한다.

(1) 학습하는 단계에서는, non-quantized parameter까지 전부 저장한다..

(2) 학습 중 forward pass에서, parameter들을 quantize하고 이를 quantized version인 centroid로 바꾼다

(3) 그리고 바꿔진 후에 rendering하고 loss를 계산한다.

(4) backward pass에서, quantized parameter에 대한 gradient들을 얻고 non-quantized parameter까지 업데이트할 수 있도록 gradient를 copy한다

(5) 학습 이후, non-quantized parameter는 삭제하고 오직 codebook과 가우시안에 대한 code index들만 저장한다.

 

조금 어렵게 설명한 것 같지만, 그냥 간단하게 설명하면
학습과정은 일반 3DGS와 비슷하게 진행하되, K-means를 통해 codebook과 assignment를 업데이트한다.
그리고 rendering하거나 loss계산할 때는 quantized 버전의 Gaussian을 사용한다는 것이다.

 

---

K-means의 computation overhead를 줄이기 위해서,

매 iteration마다 centroid를 업데이트하는 반면 assignment는 $t$ iter마다 업데이트를 한다.

($t$는 일반적으로 500이상이어야 training이 너무 오래걸리지 않으면서 괜찮았다고 한다.)

그리고, 가우시안들은 element 순서가 정해지지 않은 집합이기 때문에,

quantize된 index를 기준으로 sort하고 RLE(Run-Length-Encoding) 방법으로 저장한다.

RLE(Run-Length-Encoding)
: 연속적으로 반복되는 값을 하나의 값과 반복 횟수로 표현하는 압축 방법

ex)
AAAABBBCCDAA라는 문자열을 RLE로 압축하면
4A3B2C1D2A가 된다.

 

K-means clustering에서는
(1) assignment로부터 centroid를 update 하는 방법 (2) centroid로부터 assignment를 update하는 방법

이렇게 두가지가 있는데 두번째 방법이 오래 걸려서 특정 iter에서만 수행한다고 했다.
이 부분이 잘 이해가 안돼서 따로 정리했다

 

---

또한, 전체 d차원의 파라미터에 대해서 K-means를 수행하는 것은 매우 큰 코드북이 필요하기 때문에

비슷한 parameter들을 그룹지어서 각각 클러스터링을 수행했다.

따라서 각각의 가우시안들은 parameter에 따른 여러 개의 index를 갖고 있다.

DC component of color, SH(Spherical Harmonics), Scale, Rotation 이렇게 4개의 파라미터들을 quantize했다.

따라서 결과적으로는 4개의 코드북을 사용한 것이다.

 

이때, 1차원 scalar인 opacity는 굳이 quantize하지 않았고

point들은 clustering 했을 때 동일한 위치에 가우시안들이 존재해 겹칠 수 있기 때문에 또한 하지 않았다.

---

 

마지막으로, index 역시 integer이기 때문에 이를 더 줄이기 위해 RLE 방법을 사용했다.

assignments들의 순서, 즉 가우시안들의 순서는 전혀 중요하지 않기 때문에 하나의 인덱스를 기준으로 정렬한다.

예를 들어서, Scale parameter에 대해 인덱스 리스트가 [3,1,2,3,2,1]라면,

이를 정렬하여 [1,1,2,2,3,3]로 만드는 것이다.

그리고 정렬된 리스트에서는 동일한 인덱스 값을 가진 가우시안들이 연속으로 나오기 때문에

 

• 인덱스 1: 첫 번째 위치 (0), 두 개의 가우시안
• 인덱스 2: 세 번째 위치 (2), 두 개의 가우시안
• 인덱스 3: 다섯 번째 위치 (4), 두 개의 가우시안

다음과 같은 규칙으로 표현하여 [(0,2),(2,2),(4,2)] 이렇게 압축할 수 있다.

원래는 6개의 정수를 저장해야 하지만, RLE를 적용한 후에는 3개의 정수만 저장해도 되므로 압축효과가 나타난다.

 

 

 

2.2 Regularization

 

위의 표를 보면, quantize되지 않은 parameter들 (position, opacity)가 차지하는 메모리 비율이 매우 높은 것을 알 수 있다.

이를 줄이기 위해 본 논문에서는 '가우시안 수를 줄이는 방법'을 제시한다.

 

따라서, Loss함수를 다음과 같이 구성할 수 있다.

$L = L_{3DGS} + \lambda_{reg}\sum_{i}\sigma_{i}$

이를 통해, 모델은 투명도를 낮출 수 있는 방향으로 학습한다.

 

결론적으로는, 모델이 Gaussian들의 투명도 값을 낮추도록 유도하고,

최종적으로 투명도가 threshold 이하인 Gaussian들을 제거함으로써 가우시안 수를 줄일 수 있는 것이다.

 

---

3. Experiment

실험 디테일에 대해 정리해두겠다.

• 기존 3DGS와 비교해서 hyperparameter에서는 변화가 없다.
• Vector Quantization은 20K iter 이후부터 적용했다. (즉, 남은 10K 동안)
• 20K-25K 동안에는 매 100번째 iter마다 K-means 알고리즘을 실행했다.
• 그리고 25K-30K동안에는 클러스터 할당을 고정한다.
• color에 대해서는 4096 크기, covariance에 대해서는 16384 크기의 codebook을 사용한다.
• 1000번의 iter마다 진행하는 pruning을 기반으로 15K-20K에는 $\lambda_{reg} = 10^(-7)$ 사용한다.
• 모든 실험은 RTX-6000 GPU를 사용한다.