3DGS ๋ ผ๋ฌธ์ ์ฝ๋ค๊ฐ ์์์ ๋ณด๊ณ ๋ ๊ถ๊ธ์ฆ์ด๋ค.
๋จผ์ , world ์ขํ๊ณ์์ covariance matrix(๊ณต๋ถ์ฐํ๋ ฌ)์,
(1) ํฌ๊ธฐ๋ณํํ๋ ฌ(scaling matrix) S์ (2) ํ์ ๋ณํํ๋ ฌ(rotation matrix) R์ ์ด์ฉํด์
$$\sum = RSS^{T}R^{T}$$
๋ค์๊ณผ ๊ฐ์ ์์ผ๋ก ๋ณํํ๋ค. ๋ํ, image ์ขํ๊ณ์์ ๊ณต๋ถ์ฐํ๋ ฌ์,
(1) world์ขํ๊ณ์์ camera์ขํ๊ณ๋ก ๋ณํํ๋ viewing transform๊ณผ (2) camera์ขํ๊ณ์์ image์ขํ๊ณ๋ก ๋ณํํ๋ projective transformation์ ๋ํ ์ํ๊ทผ์ฌ์ Jacobian์ ์ด์ฉํด์
$$ \sum^{'} = JW \sum W^{T}J^{T} $$
์์ ์์ผ๋ก ํํํ๋ค.
๋ ์์ ์ดํด๋ณด๋ฉด ์ ์ ์นํ๋ ฌ(transpose matrix)๋ฅผ ๊ณฑํ๋์ง ๊ถ๊ธํ ๊ฒ์ด๋ค.
($S^{T}, R^{T}, W^{T}, J^{T}$)
๊ทธ ์ด์ ๋ ๋ฐ๋ก Covariance Matrix๋ ๋์นญํ๋ ฌ์ด๊ธฐ ๋๋ฌธ์ด๋ค.
์ ๋์นญ์ธ ์ฑ์ง์ ๊ฐ์ง๊น? ์๋์ ์์ ์ดํด๋ณด๋ฉด ์ ์ ์๋ค.
$$Cov(X,Y) = E[(X-E[X])(Y-E[Y])] = E[(Y-E[Y])(X-E[X])] = Cov(Y,X)$$
X์ Y์ ๊ณต๋ถ์ฐ ๊ฐ๊ณผ Y์ X์ ๊ณต๋ถ์ฐ ๊ฐ์ ๊ฐ๊ธฐ ๋๋ฌธ์ Cov ํ๋ ฌ์ ๋์นญ์ด๋ค.
๋ฐ๋ผ์, ํ๋ ฌ์ ๋์นญ์ผ๋ก ๋ง๋ค์ด์ฃผ๊ธฐ ์ํด transpose๋ฅผ ๊ณฑํด์ฃผ๋ ๊ฒ์ด๋ค.