Co w artykule „Szybszy RCNN”, gdy mówimy o zakotwiczeniu, co oznaczają przez użycie „piramid pól referencyjnych” i jak to się robi? Czy to tylko oznacza, że ​​w każdym punkcie kotwiczenia W * H * k generowana jest ramka ograniczająca?

Gdzie W = szerokość, H = wysokość, a k = liczba współczynników kształtu * skale num

link do artykułu: https://arxiv.org/abs/1506.01497

Kotwice wyjaśnione

Kotwice

Na razie zignoruj ​​fantazyjne określenie „piramidy pól referencyjnych”, kotwice są niczym innym jak prostokątami o stałej wielkości, które mają być dostarczane do Regionalnej Sieci Propozycji. Zakotwiczenia są zdefiniowane na ostatniej splotowej mapie obiektów, co oznacza, że ​​jest ich , ale odpowiadają obrazowi. Dla każdej kotwicy wówczas RPN przewiduje prawdopodobieństwo ogólnego umieszczenia obiektu i czterech współrzędnych korekcyjnych w celu przesunięcia i zmiany rozmiaru kotwicy do właściwej pozycji. Ale w jaki sposób geometria kotwic ma coś wspólnego z RPN? $(H_{featuremap}*W_{featuremap})*(k)$

Kotwice faktycznie pojawiają się w funkcji Loss

Podczas szkolenia RPN najpierw do każdej kotwicy przypisywana jest etykieta klasy binarnej. Zakotwiczenia z przecięciem przez Unię ( IoU ) pokrywają się z polem prawdziwości gruntu, wyższym niż określony próg, mają przypisaną etykietę dodatnią (podobnie zakotwiczenia z IoU mniejszym niż określony próg będą oznaczone jako Negatywne). Te etykiety są następnie używane do obliczania funkcji utraty:

$p$ jest wyjściem głowicy klasyfikacyjnej RPN, który określa prawdopodobieństwo zakotwiczenia zawierającego obiekt. W przypadku kotwic oznaczonych jako Negatywne nie dochodzi do strat w wyniku regresji - , etykieta prawdziwości gruntu wynosi zero. Innymi słowy, sieć nie przejmuje się wyjściowymi współrzędnymi dla ujemnych kotwic i jest szczęśliwa, dopóki poprawnie je klasyfikuje. W przypadku kotwic dodatnich brana jest pod uwagę utrata regresji. jest wyjściem głowy regresji RPN, wektorem reprezentującym 4 sparametryzowane współrzędne przewidywanej ramki granicznej. Parametryzacja zależy od geometrii kotwy i wygląda następująco:$p^*$$t$

gdzie i h oznaczają współrzędne środkowe ramki oraz jej szerokość i wysokość. Zmienne i dotyczą odpowiednio pola przewidywanego, pola zakotwiczenia i pola prawdziwości podłoża (podobnie dla ).$x, y, w,$$x, x_a,$$x^*$$y, w, h$

Zauważ też, że kotwice bez etykiety nie są klasyfikowane ani przekształcane, a RPM po prostu wyrzuca je z obliczeń. Po wykonaniu zadania RPN i wygenerowaniu propozycji reszta jest bardzo podobna do szybkich R-CNN.

Przeczytałem ten artykuł wczoraj i, na pierwszy rzut oka, było to również dla mnie mylące. Po ponownym przeczytaniu doszedłem do tego wniosku:

• Ostatnia warstwa oryginalnej sieci (ZF lub VGG-16) służy jako dane wejściowe dla sieci propozycji regionu i puli RoI. W przypadku VGG-16 ta ostatnia warstwa konwekcyjna to a 7x7x512 (HxWxD).
• Ta warstwa jest odwzorowana na 512-wymiarową warstwę z 3x3warstwą konwekcyjną. Rozmiar wyjściowy to 7x7x512(jeśli zastosowano padding).
• Warstwa ta jest odwzorowana na 7x7x(2k+4k)(np. 7x7x54) Warstwę z 1x1warstwą konwekcyjną dla każdej kskrzynki kotwiczącej.

Teraz, zgodnie z rysunkiem 1 w artykule, możesz mieć piramidę obrazów wejściowych (te same obrazy o innej skali), piramidę filtrów (filtry o innej skali, na tej samej warstwie) lub piramidę pól referencyjnych. Ten ostatni odnosi się do kramek kontrolnych na ostatniej warstwie sieci propozycji regionu. Zamiast filtrów o różnych rozmiarach ułożonych jeden na drugim (środkowa część), filtry o innym rozmiarze i proporcjach są ułożone jeden na drugim.

W skrócie, na każdym punkcie zakotwiczenia ( HxWnp 7x7) piramidy pola odniesienia ( kEG 9) jest używany.