Szacowanie pozycji 3D za pomocą kamery 2D

Mam kamerę (iPhone), na obrazie mam obiekt sterujący 3D, który znam bardzo dobrze. (Mój obiekt kontrolny). W ruchu jest także drugi obiekt. Ostatecznym celem jest ustalenie trójwymiarowej trajektorii poruszającego się obiektu na określony czas. (Śledzenie)

Chciałbym zapytać, czy mogę się dowiedzieć?

• Odległość telefonu do obiektu kontrolnego (dla celów dyskusji załóżmy, że kamera znajduje się na pewnej wysokości i pewna odległość nie jest znana, ale kamera jest prostopadła do znanej powierzchni)

• Drugi obiekt, w którym mogę zlokalizować obiekt w każdej kolejnej ramce. Moim celem jest oszacowanie jego trajektorii 3D, jak wskazałem powyżej.

Pytanie dodatkowe, możemy ustawić system tak, aby odległość telefonu od obiektu kontrolnego można było ustawić (chociaż nie jest to preferowane), czy pomogłoby mi to z drugim punktem?

Jeśli obiekt ma 6 znanych punktów (znane współrzędne 3D, $X, Y$ i $Z$) możesz obliczyć położenie kamery związane z układem współrzędnych obiektów.

Najpierw podstawy.

Współrzędna jednorodna jest wektorową prezentacją współrzędnej euklidesowej $(X,Y,Z)$ w którym dołączyliśmy tzw. współczynnik skali $\omega$ tak, że homogeniczna współrzędna jest $\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$. W swoich własnych obliczeniach staraj się zachować$\omega=1$ tak często, jak to możliwe (co oznacza, że ​​„normalizujesz” jednorodną współrzędną dzieląc ją na ostatni element: $\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$). Możemy również zastosować jednorodną prezentację dla punktów 2D, takich jak$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$ (pamiętaj, że te $\omega, X,Y$ i $Z$różnią się dla każdego punktu, czy to punkt 2D, czy 3D). Jednorodna prezentacja współrzędnych ułatwia matematykę.

Matryca kamery to $3\times4$ matryca projekcyjna ze świata 3D na czujnik obrazu:

$$\textbf{x} = P\textbf{X}$$

Gdzie $\textbf{x}$ jest punktem na czujniku obrazu (z jednostkami pikseli) i $\textbf{X}$ jest rzutowanym punktem 3D (powiedzmy, że ma milimetry jako swoje jednostki).

Pamiętamy, że iloczyn krzyżowy między dwoma wektorami 3 można zdefiniować jako mnożenie macierzy-wektora tak, że:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

Warto również zauważyć, że produkcja krzyżowa $\textbf{v} \times \textbf{v} = \textbf{0}$.

Teraz spróbujmy rozwiązać macierz projekcji $P$z poprzednich równań. Pomnóżmy równanie projekcji z lewej strony przez$\textbf{x}$macierz krzyżowa produktu:

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Aha! Wynik musi być wektorem zerowym. Jeśli teraz otworzymy równanie, otrzymamy:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

Przy odrobinie refaktoryzacji możemy uzyskać matrycę projekcji $P$ poza matrycą:

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Gdzie $\textbf{P}_n$ jest transpozycja $n$: th rząd matrycy kamery $P$. Ostatni wiersz poprzedniego (dużego) równania macierzowego jest liniową kombinacją pierwszych dwóch wierszy, więc nie przynosi żadnych dodatkowych informacji i można go pominąć.

Mała przerwa, abyśmy mogli zebrać nasze mocne strony. Należy zauważyć, że poprzednie równanie macierzowe musi zostać utworzone dla każdej znanej korespondencji 3D-> 2D (musi być ich co najmniej 6).

Teraz, dla każdej korespondencji punktowej, oblicz pierwsze dwa rzędy powyższej macierzy, ułóż je w stos $2\times12$ macierze jedna na drugiej i otrzymacie nową macierz $A$ dla którego

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Ponieważ mamy 12 niewiadomych i (co najmniej) 12 równań, można to rozwiązać. Jedyny problem polega na tym, że nie chcemy mieć banalnej odpowiedzi gdzie

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Na szczęście możemy wymusić rozkład wartości pojedynczej (SVD)

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

Aby rozwiązać równania, obliczyć SVD macierzy $A$i wybierz wektor w liczbie pojedynczej odpowiadający najmniejszej wartości własnej. Ten wektor jest wektorem zerowym macierzy A, a także rozwiązaniem matrycy kamery$P$. Po prostu rozpakuj$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$ i forma $P$.

Teraz chciałeś poznać odległość do obiektu. $P$ jest zdefiniowany jako:

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

gdzie $\textbf{C}$to lokalizacja kamery względem początku obiektów. Można to rozwiązać z$P$ obliczając $P$s zerowy wektor.

(Hartley, Zisserman - Geometria wielu widoków w wizji komputerowej)

Na koniec, obliczając położenie kamery dla dwóch klatek, możesz obliczyć położenie nieznanych obiektów (lub położenia niektórych punktów obiektu), rozwiązując dwa równania $X$:

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

Co dzieje się prawie tak samo, jak w przypadku rozwiązania matryc aparatu:

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

I tak dalej.