๐Ÿ“š Study/Paper Review

3DGS์—์„œ Covariance Matrix๋ฅผ ๊ตฌํ•  ๋•Œ transpose matrix๋ฅผ ๊ณฑํ•ด์ฃผ๋Š” ์ด์œ ?

์œฐ๊ฐฑ 2024. 5. 17. 15:19

3DGS ๋…ผ๋ฌธ์„ ์ฝ๋‹ค๊ฐ€ ์ˆ˜์‹์„ ๋ณด๊ณ  ๋“  ๊ถ๊ธˆ์ฆ์ด๋‹ค.

 

๋จผ์ €, world ์ขŒํ‘œ๊ณ„์—์„œ covariance matrix(๊ณต๋ถ„์‚ฐํ–‰๋ ฌ)์€,

(1) ํฌ๊ธฐ๋ณ€ํ™˜ํ–‰๋ ฌ(scaling matrix) S์™€ (2) ํšŒ์ „๋ณ€ํ™˜ํ–‰๋ ฌ(rotation matrix) R์„ ์ด์šฉํ•ด์„œ 

$$\sum = RSS^{T}R^{T}$$

๋‹ค์Œ๊ณผ ๊ฐ™์€ ์‹์œผ๋กœ ๋ณ€ํ™˜ํ•œ๋‹ค. ๋˜ํ•œ, image ์ขŒํ‘œ๊ณ„์—์„œ ๊ณต๋ถ„์‚ฐํ–‰๋ ฌ์€,

(1) world์ขŒํ‘œ๊ณ„์—์„œ camera์ขŒํ‘œ๊ณ„๋กœ ๋ณ€ํ™˜ํ•˜๋Š” viewing transform๊ณผ (2) camera์ขŒํ‘œ๊ณ„์—์„œ image์ขŒํ‘œ๊ณ„๋กœ ๋ณ€ํ™˜ํ•˜๋Š” projective transformation์— ๋Œ€ํ•œ ์•„ํ•€๊ทผ์‚ฌ์˜ Jacobian์„ ์ด์šฉํ•ด์„œ

$$  \sum^{'} = JW \sum W^{T}J^{T} $$

์œ„์˜ ์‹์œผ๋กœ ํ‘œํ˜„ํ•œ๋‹ค.

 


 

๋‘ ์‹์„ ์‚ดํŽด๋ณด๋ฉด ์™œ ์ „์น˜ํ–‰๋ ฌ(transpose matrix)๋ฅผ ๊ณฑํ•˜๋Š”์ง€ ๊ถ๊ธˆํ•  ๊ฒƒ์ด๋‹ค.

($S^{T}, R^{T}, W^{T}, J^{T}$)

 

 

๊ทธ ์ด์œ ๋Š” ๋ฐ”๋กœ Covariance Matrix๋Š” ๋Œ€์นญํ–‰๋ ฌ์ด๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค.

์™œ ๋Œ€์นญ์ธ ์„ฑ์งˆ์„ ๊ฐ€์งˆ๊นŒ? ์•„๋ž˜์˜ ์‹์„ ์‚ดํŽด๋ณด๋ฉด ์•Œ ์ˆ˜ ์žˆ๋‹ค.

$$Cov(X,Y) = E[(X-E[X])(Y-E[Y])] = E[(Y-E[Y])(X-E[X])] = Cov(Y,X)$$

X์™€ Y์˜ ๊ณต๋ถ„์‚ฐ ๊ฐ’๊ณผ Y์™€ X์˜ ๊ณต๋ถ„์‚ฐ ๊ฐ’์€ ๊ฐ™๊ธฐ ๋•Œ๋ฌธ์— Cov ํ–‰๋ ฌ์€ ๋Œ€์นญ์ด๋‹ค.

 

๋”ฐ๋ผ์„œ, ํ–‰๋ ฌ์„ ๋Œ€์นญ์œผ๋กœ ๋งŒ๋“ค์–ด์ฃผ๊ธฐ ์œ„ํ•ด transpose๋ฅผ ๊ณฑํ•ด์ฃผ๋Š” ๊ฒƒ์ด๋‹ค.