Kalibracja kamery / model aparatu z otworem pinowym i wypracowanie pozycji 3D

Mam skalibrowaną kamerę i posiadam wewnętrzne parametry. Mam również parametry zewnętrzne względem punktu (pochodzenie świata) na płaskiej powierzchni w świecie rzeczywistym. Ten punkt ustawiłem jako początek współrzędnych świata rzeczywistego [0,0,0] z normalną równą [0,0,1].

Na podstawie tych parametrów zewnętrznych mogę obliczyć pozycję i obrót kamery we współrzędnych 3d płaszczyzny świata, używając tego tutaj: http://en.wikipedia.org/wiki/Camera_resectioning

Teraz mam drugi punkt, w którym wyodrębniłem współrzędne obrazu dla [x, y]. Jak teraz uzyskać pozycję 3D tego punktu w światowym układzie współrzędnych?

Myślę, że intuicja polega na tym, że muszę prześledzić promień, który przechodzi od optycznego środka kamery (dla której mam teraz pozycję 3D, jak opisano powyżej), przez płaszczyznę obrazu [x, y] kamery, a następnie przez mój samolot z prawdziwego świata, który zdefiniowałem na górze.

Teraz mogę przeciąć promień 3d współrzędnej świata z płaszczyzną, którą znam normalnie, i wskazać na tej płaszczyźnie. Nie rozumiem, jak ustalam pozycję i kierunek 3D, kiedy opuszcza płaszczyznę obrazu przez piksel. To dezorientacja mnie przez różne układy współrzędnych.

Jeśli masz elementy zewnętrzne, jest to bardzo łatwe. Posiadanie elementów zewnętrznych jest tym samym, co posiadanie „pozy kamery” i to samo, co posiadanie homografii. Sprawdź ten post w stackoverflow.

Masz elementy zewnętrzne, zwane także pozycjami kamery, co jest określane jako tłumaczenie i obrót:

$\displaystyle Pose =\begin{bmatrix}R|t \end{bmatrix} = \begin{bmatrix}R_{11} &R_{12}&R_{13}&t_x\\R_{21}&R_{22}&R_{23}&t_y\\R_{31}&R_{32}&R_{33}&t_z \end{bmatrix}$

Można uzyskać Homography od Stanowią w ten sposób:

$\displaystyle H = \frac{1}{t_z}\begin{bmatrix}{R_{1x}}&{R_{2x}}&{t_x}\\{R_{1y}}&{R_{2y}}&{t_y}\\{R_{1z}}&{R_{2z}}&{t_z}\end{bmatrix}$

Następnie możesz rzutować punkty 2D na odpowiadające im punkty 3D, mnożąc homografię przez punkty:

$p_{2D}=\begin{bmatrix}x &y &1\end{bmatrix}\quad$ Dodaj $\quad z=1\quad$ aby były jednorodne

$p_{3D}=H*p_{2D}$

$p= p / p(z)\quad$ Normalizuj punkty

Masz dwie opcje, użyj projekcji wstecznej lub projekcji między dwiema płaszczyznami (homografia).

W przypadku projekcji wstecznej pobierasz pseudo odwrotność matrycy kamery i mnożisz wynik przez jednorodną prezentację punktu obrazu:$P$

Teraz masz linię 3D, która porusza koryta centrum kamera i punkcie X . Jeśli chcesz, możesz przekonwertować to na łatwiejsze w obsłudze. Na przykład z jednym wektorem punktu i kierunku (pamiętaj, aby znormalizować współrzędne jednorodne V = ω [ X Y Z 1 ] T tak, aby współczynnik skali ω = 1 przed faktycznymi obliczeniami):$\textbf{C}$$\textbf{X}$$\textbf{V} = \omega\begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$

Jeśli masz płaszczyznę , możesz rozwiązać równanie L ( t ) = Π dla t .$\Pi = \begin{bmatrix}\pi_1 & \pi_2 & \pi_3 & \pi_4\end{bmatrix}^T, \pi_1X + \pi_2Y + \pi_3Z + \pi_4 = 0$$\textbf{L}(t) = \Pi$$t$

Jeśli zdecydujesz się na użycie homografii, musisz obliczyć macierz homografii H , która jest zdefiniowana jako rzut między płaszczyzną obrazu i płaszczyzną czujnika kamery:$3\times3$$H$

$\textbf{x}$

$H$

$d$$\textbf{T} = -R\textbf{C}$. (Ma, Soatto, Kosecká, Sastry - Zaproszenie do trójwymiarowej wizji od obrazów do modeli geometrycznych, s. 132)

Nie możesz znać pozycji 3D drugiego punktu. Może to być dowolny punkt na promieniu od środka kamery do nieskończoności.

Możesz wykonać następujące czynności:

• Utwórz predefiniowaną przestrzeń 3D, która przypomina scenę z prawdziwego życia
• Zdobądź więcej punktów obrazów pod innym kątem, używając przecięcia promieni pod różnymi kątami, możesz uzyskać przybliżenie punktu 3d.