Rejestracja obrazu według segmentacji

Algorytmy rejestracji obrazu są zwykle oparte na cechach punktowych, takich jak SIFT (Scale-Invariant Feature Transform).

Widziałem pewne odniesienia do elementów linii, ale zastanawiałem się, czy można dopasować segmenty obrazu zamiast punktów . Na przykład dane źródło i przekształcony obraz:

wprowadź opis zdjęcia tutaj

Na każdym z nich mogę wykonać wykrywanie krawędzi, rozmycie i transformację zalewową:

wprowadź opis zdjęcia tutaj

Niestety segmentacja okazała się zbyt różna dla każdego obrazu, aby pasowała do poszczególnych segmentów.

Widziałem kilka artykułów na temat pasujących kształtów i deskryptorów kształtów, które są niezmienne dla przekształceń afinicznych, więc ten obszar wydaje się obiecujący ...

Czy są jakieś metody segmentacji bardziej odporne na zniekształcenie (a nawet projekcję) deformacji obrazu?

local-features image-segmentation image-registration

— Libor
źródło

Mój zdrowy rozsądek mówi mi, że mniejsze regiony są bardziej odporne na globalne transformacje. Zatem segmentacja powinna mieć wiele małych segmentów. Ponadto niektóre określone kształty są niezmienne dla niektórych przekształceń (jak koła do rotacji)

— Andrey Rubshtein

MSER (Maksymalnie stabilne regiony ekstremalne) to regiony, a nie punkty. I są niezmienne w celu wywołania transformacji. Ale ściśle mówiąc, nie jest to metoda segmentacji.

— Niki Estner,

@nikie Jeśli podasz swój komentarz jako odpowiedź, zaakceptuję go. Byłem zainteresowany segmentacją, ponieważ cechy regionu zawierają pewne informacje o transformacji obrazu i mogą być ewentualnie wykorzystane do odgadnięcia transformacji między obrazami. Z pewnością przestudiuję artykuł na temat MSER.

— Libor

Obecnie pracuję nad CBIR przy użyciu drzew komponentów. Reprezentacja drzewa komponentów obrazu nie zależałaby tak bardzo od deformacji (nawet rzutowych) obrazu, różne poziomy umożliwiłyby porównania i operacje do innego poziomu szczegółowości i powinny działać lepiej niż obecne techniki na obrazach o niskiej teksturze . To tylko tematem badań teraz, właśnie rozpoczął, ale miejmy nadzieję, że coś w podejściu, w przeciwnym razie nie byłoby uzyskanie dotacji to zrobić. Ale jeśli ktoś zrobiłby coś podobnego, może być przydatne.

— penelopa

@penelope Te prace nad CBIR mogą być również przydatne do mozaikowania obrazów (moje szczególne zainteresowanie), gdzie mamy zestaw obrazów o podobnych cechach. Obecnie popularnym podejściem jest wielowymiarowe wyszukiwanie deskryptorów punktów (np. SIFT), które może prowadzić do fałszywych dopasowań między obrazami, podczas gdy „regiony” lub „komponenty” zamiast punktów mogą być w stanie je rozróżnić. Czy masz jakieś odniesienia do artykułów na temat reprezentacji obrazów w drzewie komponentów? Wielkie dzięki.

— Libor,

Odpowiedzi:

MSER (Maksymalnie stabilne regiony ekstremalne) to regiony, a nie punkty. I są niezmienne w celu wywołania transformacji. Ale ściśle mówiąc, nie jest to metoda segmentacji

Mówiąc nieformalnie, chodzi o to, aby znaleźć obiekty BLOB o różnych progach, a następnie wybrać obiekty BLOB, które mają najmniejszą zmianę kształtu / obszaru w zakresie progów. Regiony te powinny być stabilne dla szerokiego zakresu przekształceń skali szarości i geometrycznych.

— Niki Estner
źródło

Obecnie pracuję nad CBIR przy użyciu Drzew Składowych , co powinno być stosunkowo nowym pomysłem. Niektóre spodziewane zalety używania drzew komponentów do opisywania obrazów to:

Reprezentacja drzewa komponentów obrazu nie zależałaby tak bardzo od deformacji (nawet rzutowych) obrazu
Badanie różnych poziomów drzewa pozwoliłoby na porównania i operacje na innym poziomie szczegółowości
Dyskryminacja i opis powinny działać lepiej niż obecne techniki na obrazach o niskiej teksturze.

Gdy rozpocząłem badania związane z tym tematem, mam niejasne wyobrażenie o moich celach: reprezentuj obraz za pomocą drzewa komponentów, a następnie porównaj wspomniane drzewa komponentów, albo bezpośrednio, znajdując wektoryzację. Prawdopodobnie będę w stanie powiedzieć znacznie więcej za kilka tygodni (lub miesięcy), ale na razie mogę zaoferować tylko listę artykułów poleconych mi jako wstęp do drzew składowych (jeszcze ich nie przeczytałem):

Mogę zaktualizować odpowiedź, jeśli znajdę coś istotnego.

Ponadto, jeśli Twoim celem jest, w pewnym sensie, dokładniejsze dopasowanie regionów obrazu zamiast tylko punktów , ponieważ regiony mogą być bardziej dyskryminujące, pojawiła się miła sugestia w J. Sivic i A. Zisserman: „Wideo Google: pobieranie tekstu Podejście do dopasowywania obiektów w filmach ” .

Mam na myśli rozdział dotyczący spójności przestrzennej , w którym grupa dopasowań między punktami charakterystycznymi jest akceptowana tylko wtedy, gdy punkty charakterystyczne zachowują podobną konfigurację przestrzenną na obu obrazach. Zatem dopasowanie jest nie tylko zależne od typu wyodrębnionego elementu (DoG, MSER, ...) lub deskryptora (SIFT), ale także patrzy na szersze otoczenie punktu cechy, czyniąc go (przynajmniej trochę) zależny od regionu.

— Penelopa
źródło