3DGS에서 알파 블렌딩 α-blending 이란?

3DGS 논문에서 사용되고 있는 α-blending

도대체 이 논문에서 의미하는 알파 블렌딩이 무엇인지 내 생각을 정리해보겠다.

 

---

알파 블렌딩이란?

여러 이미지들을 합성할 때, 투명도(α)값을 사용하여 부드럽게 혼합하는 기술이다.

아래 사진과 같이 α값이 작으면 더 투명해지고, α값이 커지면 더 불투명해진다.

3DGS에서는 sigmoid를 이용해  α를 0-1로 크기를 제한했다.

 

기존에는 이미지를 오직 RGB 3가지로 표현을 했다면,
이미지의 투명한 효과를 구현하거나 (ex. 로고 이미지의 배경 투명하게 or 그림자 효과)
여러 이미지를 합성할 때 각 픽셀의 가중치를 제어할 때 사용하기 위해
RGB외에 투명도를 추가하여 RGBA 4가지로 표현을 한다.

 

---

 

이 기술을 3DGS 모델에는 어떻게 사용한다는걸까?

 

3DGS 모델은 SFM points를 통해 3D Gaussian을 만든 후,

projection을 통해 2D Gaussian으로 projection 한다.

당연히 이때의 가우시안들은 아래 그림과 같이 서로 겹치는 부분이 있을 것이다.

 

 

2D Gaussian들을 이용해 하나의 Image를 만드는 과정인 rasterization에서는

당연히 이렇게 겹치는 가우시안들을 어떻게 처리할지에 대한 논의가 필요하다.

 

바로 투명도(α)값을 사용하는 것이다!

 

즉, 겹친 영역에 해당하는 모든 가우시안에 각각의 α값을 곱해서 픽셀 당 하나의 결과값을 만들 수 있을 것이다.

 

 

논문의 파트 4 Differentiable 3D Gaussian Splatting에서는 

가우시안 함수가 blending 과정에서 $\alpha$와 곱해진다고 했기 때문에 위 그림과 같은 수식이 나올 것으로 예상한다.

$ G(x) = e^{-1/2(x)^{T}\sum^{-1}(x)} $
This Gaussian is multiplied by α in our blending process

 

 

...*0*

확실하지는 않지만 지금까지의 생각으로는,

아마도 α값이 큰 가우시안, 즉 불투명한 가우시안은 카메라에 가까이 있는 물체가 아닐까 싶다.

그리고 α값이 작은 가우시안, 즉 투명한 가우시안은 카메라에 멀리 있는 물체일 것 같다는 예상이다.

멀리 있는 정보보다는 가까이 있는 정보의 가중치를 더 많이 줘야 하지 않을까?

이 생각이 구체화되면 추가해보겠다..

 

---

참고 블로그

https://trts1004.tistory.com/12109286

블렌딩(Blending), 알파 블렌딩(Alpha Blending)이란 무엇일까?

https://www.youtube.com/watch?v=Ncs5wOaetYg&t=131s