3DGS의 tile rasterizer에서 겹치는 tile개수에 따라 인스턴스화하는 이유?

3DGS의 tile rasterizer 부분을 읽다가 왜 그렇지?하는 생각을 들게 한 부분이 있었다.
 

We then instantiate each Gaussian according to the number of tiles they overlap
and assign each instance a key that combines view space depth and tile ID.

xoft님의 유튜브 참고

 
왜 가우시안을 그들이 겹치는 타일 수로 인스턴스화하는 것일까?
이는 해당 가우시안이 이미지에 어느정도 영향을 미치는지 반영하기 위해서라고 생각한다.
 
예를 들어, 한 이미지가 논문처럼 16x16 타일로 분할되어 있다고 생각해보자.
이미지에 projection된 2D 가우시안들을 고려해볼 때,
가우시안이 겹치는 타일 수가 많을 경우 -> 해당 가우시안의 특징이 상대적으로 더  중요하다고 판단할 수 있다.
반면에, 겹치는 타일 수가 적은 경우 -> 해당 가우시안의 특징이 상대적으로 덜 중요하다고 판단할 수 있다.
 
이러한 방식으로, 가우시안을 겹치는 타일 수로 인스턴스화함으로써
각 가우시안의 중요성을 파악하고, 이를 통해 이미지를 적절하게 rasterization 할 수 있게 되는 것이다.
 
 

---

⚠ 겹치는 tile수를 통해 view-space depth of Gaussian을 알 수 있을 거라고 오해했었다.

오해 해결)
view-space depth of Gaussian은 3D Gaussian때부터 알고 있는 정보니까 그걸 encoding한다는 것 같아.

현재 3D 가우시안이 Image Plane 위로 projection하여 2D 가우시안으로 변한 상태이다.
이때 2D 가우시안이 겹친 tile의 개수가
그 가우시안이 카메라로부터의 떨어진 거리(depth)와 어떤 연관성이 있는 것일까?
 
한마디로 정리하면,
Image plane에 생긴 2D 가우시안을 보고 어떻게 카메라까지의 거리를 알아낼 수 있는 것일까?
 
개인적인 생각으로는, 겹치는 tile수가 많을수록, view space depth가 더 깊다고 여길 수 있을 것이다.
그 이유는,
겹치는 tile수가 많다는건, 해당 위치에서의 정보가 더 넓은 영역을 다루는 것을 의미한다.
이는 해당 위치에서의 정보가 보다 광범위한 공간을 포함하고 있기 때문에 더 깊은 곳에 위치할 가능성이 높다.
즉 다시 말해 배경이 될 가능성이 높다는 것이다.
 
예를 들어, 잔디밭에 공이 있는 image가 있다고 생각해보자.
이를 point cloud로 표현을 한다면, 잔디밭보다는 공에 point가 많을 것이다.
그 이유는, 잔디밭은 크고 넓은 표면을 형성하므로 상대적으로 적은 수의 point가 필요한 반면
공은 표면의 곡률이나 세부적인 형태를 정확하기 표현하기 위해서 더 많은 포인트가 필요할 것이다.
이제 그 point들을 기준으로 3D Gaussian을 생성했다고 생각해보면
잔디밭의 Gaussian은 더 넓은 영역을 포함하기 때문에 공의 Gaussian보다 크기가 클 것이다.
 
정리해보면,
Gaussian이 클수록 = overlap되는 tile수가 많고 = 더 넓은 영역을 포함하므로 배경이 될 가능성이 높음 = 깊이가 깊을 것