Ocena pozycji kamery krok po kroku dla wizualnego śledzenia i markerów planarnych

Od jakiegoś czasu pracuję nad oszacowaniem pozycji kamery dla aplikacji rozszerzonej rzeczywistości i śledzenia wizualnego i myślę, że chociaż jest wiele szczegółowych informacji na temat zadania, wciąż istnieje wiele zamieszania i nieporozumień.

Myślę, że kolejne pytania zasługują na szczegółową odpowiedź krok po kroku.

Jakie są nieodłączne elementy aparatu?
Co to są elementy zewnętrzne aparatu?
Jak obliczyć homografię z markera płaskiego?
Jeśli mam homografię, jak mogę uzyskać pozę do kamery?

— Jav_Rock
źródło

Rozmyślam nad renormalizacją, którą wykonujesz: 1. H to homografia znaleziona na podstawie danych przy użyciu procedury (powiedzmy SVD). 2. inv (K) * H = A to rzecz, nad którą pracujesz tutaj. Następnie tworzysz q1 = a1 / norm (a1) i q2 = a2 / norm (a2) jako ortonormalne kolumny macierzy obrotu, i czynisz q3 = q1xq2 ... Następnie bierzesz t / (coś), aby uzyskać wektor translacji. Jak to jest, możesz po prostu podzielić q1 i q2 według różnych rzeczy i jak wybrać, przez co podzielić t? Czy też jest to pomysł, że procedura SVD i mnożenie przez inv (K) dają coś blisko, ale nie całkiem ortogonalnej / ortonormalnej macierzy rotacji, więc th

— user2600616

Ale jak mogę zdobyć punkt 3D (X, Y, 1)?

— waschbaer,

Ważne jest, aby zrozumieć, że jedynym problemem tutaj jest uzyskanie parametrów zewnętrznych. Wartości wewnętrzne kamery można mierzyć off-line i do tego celu istnieje wiele aplikacji.

Jakie są nieodłączne elementy aparatu?

Aparat wewnętrzne parametry zazwyczaj nazywa się macierz kalibracji kamery, . Możemy pisać $K$

K = [\begin{matrix} α_{u} & s & u_{0} \\ 0 & α_{v} & v_{0} \\ 0 & 0 & 1 \end{matrix}]

$K = \begin{bmatrix}\alpha_u&s&u_0\\0&\alpha_v&v_0\\0&0&1\end{bmatrix}$

gdzie

i jest współczynnikiem skalowania w i współrzędnych kierunkach i jest proporcjonalna do ogniskowej aparatu: i . i to liczba pikseli na jednostkę odległości wkierunkach i . $\alpha_u$ $\alpha_v$ $u$ $v$ $f$ $\alpha_u = k_u f$ $\alpha_v = k_v f$ $k_u$ $k_v$ $u$ $v$
nazywa się punktem głównym, zwykle współrzędnymi środka obrazu. $c=[u_0,v_0]^T$
jest pochyleniem, tylko niezerowym, jeśli i nie są prostopadłe. $s$ $u$ $v$

Kamera jest skalibrowana, gdy znane są wewnętrzne wartości. Można to zrobić łatwo, więc nie jest to cel w wizji komputerowej, ale trywialny krok off-line.

Niektóre linki:

ftp://svr-ftp.eng.cam.ac.uk/pub/reports/mendonca_self-calibration.pdf

Co to są elementy zewnętrzne aparatu?

Zewnętrzne elementy aparatu lub parametry zewnętrzne jest matrycą , która odpowiada transformacji euklidesowej ze światowego układu współrzędnych do układu współrzędnych kamery. oznacza macierzy rotacji i do translacji. $[R|t]$ $3\times4$ $R$ $3\times3$ $t$

Aplikacje do wizji komputerowej koncentrują się na szacowaniu tej matrycy.

[R | t] = [\begin{matrix} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \end{matrix}]

$[R|t] = \begin{bmatrix} R_{11}&R_{12}&R_{13}&T_x\\R_{21}&R_{22}&R_{23}&T_y\\R_{31}&R_{32}&R_{33}&T_z \end{bmatrix}$

Jak obliczyć homografię z markera płaskiego?

Homografia to jednorodna matryca , która odnosi się do płaszczyzny 3D i projekcji obrazu. Jeśli mamy płaszczyznę homografia odwzorowuje punkt na tej płaszczyźnie i odpowiadający jej punkt 2D pod rzutem jest $3\times3$ $Z=0$ $H$ $M=(X,Y,0)^T$ $m$ $P=K[R|t]$

\tilde{m} = K [\begin{matrix} R^{1} & R^{2} & R^{3} & t \end{matrix}] [\begin{matrix} X \\ Y \\ 0 \\ 1 \end{matrix}]

$\tilde m = K \begin{bmatrix} R^1 & R^2 & R^3 & t \end{bmatrix} \begin{bmatrix} X \\ Y \\ 0 \\ 1 \end{bmatrix}$

= K [\begin{matrix} R^{1} & R^{2} & t \end{matrix}] [\begin{matrix} X \\ Y \\ 1 \end{matrix}]

$= K \begin{bmatrix}R^1&R^2&t\end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix}$

H = K [\begin{matrix} R^{1} & R^{2} & t \end{matrix}]

$H = K \begin{bmatrix}R^1 & R^2 & t \end{bmatrix}$

Aby obliczyć homografię, potrzebujemy par punktowych kamera światowa. Jeśli mamy znacznik planarny, możemy przetworzyć jego obraz w celu wyodrębnienia elementów, a następnie wykryć te elementy w scenie, aby uzyskać dopasowania.

Potrzebujemy tylko 4 par do obliczenia homografii za pomocą bezpośredniej transformacji liniowej.

Jeśli mam homografię, jak mogę uzyskać pozę do kamery?

Homografia i kamera stanowią zawierają te same informacje i można je łatwo przekazywać między sobą. Ostatnia kolumna obu to wektor translacji. Kolumna jeden i dwa z homography również kolumna i dwa matrycy kamery ułożenia. Pozostawia się ją na kolumnę three w , a ponieważ musi być ortogonalny, można go obliczyć jako krzyżowy produkt z kolumn pierwszego i drugiego: $H$ $K[R|t]$ $H^1$ $H^2$ $R^1$ $R^2$ $R^3$ $[R|t]$

R^{3} = R^{1} \otimes R^{2}

$R^3 = R^1 \otimes R^2$

Ze względu na redundancję należy znormalizować dzielenie przez, na przykład, element [3,4] macierzy. $[R|t]$

— Jav_Rock
źródło

Myślę, że mylące jest twierdzenie, że kalibracja jest „łatwa, a nie celem CV”. W zwykłym przypadku musimy również oszacować parametry zniekształcenia. Zamiast samokalibracji zaleciłbym kalibrację planarną (Zhang - nowa elastyczna technika kalibracji kamery), ponieważ jest bardziej elastyczna, jeśli można wykonać oddzielną procedurę kalibracji. Masz również mały błąd w „Jeśli mam homografię, jak mogę uzyskać pozę kamery?” ponieważ nie bierzesz pod uwagę kalibracji (H_ {calib} = K ^ -1H).

— buq2

pozycja kamery z homografii jest nieprawidłowa. Można to zrobić na kilka sposobów - niektóre z nich są wysoce nietrywialne.

— mirror2image

Nie rozumiem, dlaczego jest źle. Obliczam to w ten sposób i działa. Dlaczego mówisz, że to źle?

— Jav_Rock

W ostatniej sekcji napisałeś, że H ^ 1 i R ^ 1 i równe, ale w trzeciej sekcji stwierdzasz, że H = K [RT], co oznaczałoby, że R ^ 1 to w rzeczywistości K ^ -1H ^ 1. Nie jest to jednak do końca prawdą, ponieważ istnieje nieskończona liczba H, która spełni równania i spowoduje problemy przy rozwiązywaniu R ^ 1, R ^ 2 i T (skala nieznana). Twoja odpowiedź nie uwzględnia solidnej kalibracji wewnętrznej i zniekształcenia, a niektóre równania są błędne, z tego powodu nie jest to dobra odpowiedź na pytanie.

— buq2

Tak, brakowało mi macierzy kalibracji w kroku trzecim, ponieważ wziąłem to z mojego kodu i mnożę przez K w innej funkcji kodów.

— Jav_Rock

Bardzo dobrze wyjaśniając przypadek dwuwymiarowy, odpowiedź zaproponowana przez Jav_Rock nie zapewnia prawidłowego rozwiązania dla pozycji kamery w przestrzeni trójwymiarowej. Zauważ, że dla tego problemu istnieje wiele możliwych rozwiązań.

Ten dokument zawiera zamknięte formuły do rozkładania homografii, ale formuły są nieco złożone.

OpenCV 3 już implementuje dokładnie ten rozkład ( decomposeHomographyMat ). Biorąc pod uwagę homografię i poprawnie skalowaną macierz wewnętrzną, funkcja zapewnia zestaw czterech możliwych rotacji i tłumaczeń.

Matryca wewnętrzna w tym przypadku musi być podana w jednostkach pikseli, co oznacza, że zwykle jest to twój główny punkt, (imageWidth / 2, imageHeight / 2)a ogniskowa zwykle focalLengthInMM / sensorWidthInMM * imageHeight.

— Emiswelt
źródło

Co to jest poprawnie wyskalowana matryca wewnętrzna?

— Guig

Zaktualizowałem swoją odpowiedź. Patrz wyżej.

— Emiswelt,

Hej, Emiswelt, czy nie jest ogniskowa focalLengthInMM / sensorWidthInMM * imageWidth? Dlaczego zamiast tego wybierasz wysokość?

— El Marce