Jak zmiana rozmiaru obrazu wpływa na wewnętrzną matrycę kamery?

18

Mam matrycę kamery (znam zarówno parametry wewnętrzne, jak i zewnętrzne) znane z obrazu o wielkości HxW. (Używam tej macierzy do niektórych obliczeń, których potrzebuję).

Chcę użyć mniejszego obrazu, powiedz: (połowa oryginału). Jakie zmiany muszę wprowadzić w matrycy, aby zachować tę samą relację? $\frac{H}{2}\times \frac{W}{2}$

Mam, jako parametry wewnętrzne, ( , obrót i translacja) $K$ $R$ $T$

cam = K \cdot [R T]

$\text{cam} = K \cdot [R T]$

K = (\begin{matrix} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix})

$K = \left( \begin{array}&a_x &0 &u_0\\0 &a_y &v_0 \\ 0 &0 &1\end{array} \right)$

$K$ to 3 * 3, myślałem o pomnożeniu $a_x$ , $a_y$ , $u_0$ i $v_0$ przez 0,5 (współczynnik zmiany rozmiaru obrazu), ale nie jestem pewien.

— matlabit
źródło

13

Uwaga: To zależy od współrzędnych używanych w obrazie o zmienionym rozmiarze. Zakładam, że używasz układu zerowego (jak C, w przeciwieństwie do Matlab), a 0 jest przekształcane na 0. Ponadto, zakładam, że nie masz skosu między współrzędnymi. Jeśli masz przekrzywienie, należy je również pomnożyć

Krótka odpowiedź : Zakładając, że używasz układu współrzędnych, w którym , tak, powinieneś pomnożyć przez 0,5 $u' = \frac{u}{2} , v' = \frac{v}{2}$ $a_x,a_y,u_0,v_0$

Szczegółowa odpowiedź Funkcja, która przekształca punkt we współrzędnych świata na współrzędne kamery to: $P$ $(x,y,z,1)->(u,v,S)$

(\begin{array}{ccc} {za}_{x} & 0 & u_{0} \\ 0 & {za}_{y} & v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & {T.}_{x} \\ R_{21} & R_{22} & R_{23} & {T.}_{y} \\ R_{31} & R_{32} & R_{33} & {T.}_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} a_x & 0 & u_0 \\ 0 & a_y & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Gdzie , ponieważ współrzędne są jednorodne. $(u,v,S)->(u/S,v/S,1)$

W skrócie można to zapisać jako gdzie jest iloczynem dwóch wspomnianych powyżej matryc, a jest i ' ty rząd macierzy . (Produkt jest produktem skalarnym). $u= \frac{m_1 P}{m_3 P} , v = \frac{m_2 P}{m_3 P}$
$M$ $m_i$ $M$

Można zmienić rozmiar obrazu:

u^{'} = u / 2, v^{'} = v / 2

$u'=u/2, v'=v/2$

A zatem

u^{'} = (1 / 2) \frac{M_{1} P}{M_{3} P} v^{'} = (1 / 2) \frac{M_{2} P}{M_{3} P}

$u' = (1/2) \frac {M_1 P} {M_3 P} \\ v' = (1/2) \frac {M_2 P} {M_3 P}$

Konwersja z powrotem do postaci macierzowej daje nam:

(\begin{array}{ccc} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} a_x & 0 & u_0 \\ 0 & a_y & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Co jest równe

(\begin{array}{ccc} 0.5 a_{x} & 0 & 0.5 u_{0} \\ 0 & 0.5 a_{y} & 0.5 v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} 0.5 a_x & 0 & 0.5 u_0 \\ 0 & 0.5 a_y & 0.5 v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Aby uzyskać dodatkowe informacje, patrz Forsyth , rozdział 3 - Kalibracja kamery geometrycznej.

— Andrey Rubshtein
źródło

Wielkie dzięki za wyjaśnienie !!! Po prostu nie jestem pewien, co masz na myśli mówiąc o systemie zerowym, używam Matlaba, czy potrzebuję innych korekt?

— matlabit

@matlabit, jeśli używasz Matlaba, powinieneś użyć transformacji , ponieważ ma ona indeksowanie oparte na jednym (Pierwszy element ma wartość 1, a nie 0). W takim przypadku spróbuj obliczyć odpowiednią macierz. Jeśli nie potrzebujesz dokładności subpikseli, możesz ją zignorować i użyć wzoru, który ci dałem.

u^{'} = (u - 1) / 2 + 1, v^{'} = (v - 1) / 2 + 1

$u' = (u-1)/2 + 1 , v' = (v-1)/2 + 1$

— Andrey Rubshtein

8

Andrey wspomniał, że jego rozwiązanie zakłada, że 0 jest przekształcone na 0. Jeśli używasz współrzędnych pikseli, prawdopodobnie nie jest to prawdą po zmianie rozmiaru obrazu. Jedynym założeniem, które naprawdę musisz przyjąć, jest to, że transformacja obrazu może być reprezentowana przez matrycę 3x3 (jak pokazał Andrey). Aby zaktualizować matrycę kamery, możesz po prostu przedwcześnie zastosować macierz reprezentującą transformację obrazu.

[new_camera_matrix] = [image_transform]*[old_camera_matrix]

Na przykład powiedz, że musisz zmienić rozdzielczość obrazu o współczynnik i używasz 0 indeksowanych współrzędnych pikseli. Twoje współrzędne są przekształcane przez relacje $2^n$

$x' = 2^n*(x+.5)-.5$

$y' = 2^n*(y+.5)-.5$

może to być reprezentowane przez macierz

$\left( \begin{array}{ccc} 2^n & 0 & 2^{n-1}-.5 \\ 0 & 2^n & 2^{n-1}-.5 \\ 0 & 0 & 1 \end{array} \right)$

więc twoja ostatnia matryca kamery będzie

$\left( \begin{array}{ccc} 2^n & 0 & 2^{n-1}-.5 \\ 0 & 2^n & 2^{n-1}-.5 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} ax & 0 & u_0 \\ 0 & ay & v_0 \\ 0 & 0 & 1 \end{array} \right)$

— Młotek
źródło

2^{n}

$2^n$

1

Myślę, że chodzi o to, że środek piksela „0, 0” nie jest tak naprawdę ustawiony na „0, 0” (= lewy górny róg piksela), ale na „0,5, 0,5”. Musisz więc uwzględnić to przesunięcie przed i po transformacji, a współczynnik wynosi zawsze 0,5, bez względu na współczynnik skalowania.

— Jan Rüegg

Tak, dokładnie tak

— Hammer