Jak działa Super Resolution?


10

Wybieram z tego pytania. Przeczytałem artykuł w Wikipedii, ale nie rozumiem, dlaczego układanie kopii tego samego obrazu nad sobą powinno poprawić rozdzielczość obrazu?

Odpowiedzi:


13

Proces jest skomplikowany, ale powinien dać intuicję w tym, co się dzieje. Wyobraź sobie, że masz zwykłą kamerę, ale z silnikami, aby przesunąć czujnik o pół piksela w dowolnym kierunku.

Zamiast zrobić jedno zdjęcie, aparat wykonuje cztery: jeden wyśrodkowany, jeden przesunięty o pół piksela w prawo, jeden przesunięty o pół piksela w dół i jeden przesunięty o pół piksela w prawo i pół piksela w dół.

Następnie możemy zrobić wyśrodkowany obraz, sprawić, by był dwukrotnie większy, rozmieszczając piksele w następujący sposób:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Następnie możemy wypełnić luki, używając innych przesuniętych obrazów 1, 2 i 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Pozostawiając nam obraz dwukrotnie większej rozdzielczości. Co ciekawe, istnieją kamery, które nie wykorzystują tej techniki - takie jak Hasselblad H4D-200MS (przepraszam, jeśli musisz zapytać, ile nie możesz sobie pozwolić).

Super-rozdzielczość w standardowym aparacie jest nieco bardziej złożona, ponieważ w przypadku niekontrolowanego ruchu kamery lub obiektu nie dochodzi do dokładnego przesunięcia o pół piksela, ale jeśli nie masz pecha, przesunięty obraz będzie w pewnym stopniu przesunięty w stosunku do oryginału. Łącząc wystarczającą liczbę obrazów otrzymasz bardzo nieregularnie próbkowany obraz (z próbkami pikseli, które nie spadają na siatkę), ale taki, który można interpolować (śledząc linie między próbkami, aby zgadnąć wynik, który przypada na dokładną linię siatki) w zwykły obraz.


1
Ważne jest, aby pamiętać, że ruch nie musi odbywać się wewnątrz kamery, można to zrobić, przesuwając samą kamerę. Właśnie dlatego super rozdzielczość działa bardzo dobrze z wideo, ponieważ kamera prawie zawsze będzie miała niewielkie ruchy między klatkami.
Håkon K. Olafsen

Ta mżawka lub dithering jest szeroko stosowana w astrofotografii cyfrowej. Wiele pojedynczych zdjęć jest ułożonych w stos, aby zmniejszyć szum związany z obrazem, a jednocześnie istnieje możliwość odzyskania znacznych szczegółów i rozdzielczości.
smigol

i w jaki sposób można na tym nakładać wiele kopii tego samego zdjęcia? Jestem zdezorientowany, ponieważ po ułożeniu w stos będziesz musiał wyrównać, a to anuluje przesunięcie między pikselami, co wygląda jak podstawowa idea super rozdzielczości
K

1
@AkramMellice - układanie tego samego nie robi tego. Oprogramowanie może służyć do sprawdzania i potencjalnie „wypełniania” informacji na podstawie innych informacji na obrazie, ale byłoby to mniej niż idealne ... W każdym razie byłoby niesamowicie niesamowite, gdyby Pentax dodał tę funkcję, co jest całkowicie możliwe biorąc pod uwagę, że ich funkcja przeciwwstrząsowa jest na czujniku i jest to wariacja na temat tego, jak wykonują one astrotrace za pomocą urządzenia GPS.
John Cavan

3

Weź pod uwagę, że czujnik nie jest idealnym urządzeniem do przechwytywania. Każdy piksel zostanie zapisany z pewną ilością błędu. Na przykład, jeśli najdokładniejsza jest wartość piksela N, czujnik zarejestruje wartość mieszczącą się w zakresie N-E to N+Edla danego E. Ponieważ dobry czujnik Ejest mały, zły czujnik będzie miał większy E.

Należy również pamiętać, że przy każdej ekspozycji dany piksel będzie miał inny błąd, komórki w czujniku nie mają pamięci, więc piksel, który wyszedł nisko jeden raz, może wyskoczyć wysoko w następnym.

Po zrobieniu kilku ekspozycji tego samego obiektu i uśrednieniu ich razem skutecznie zmniejszasz E. W naszym przykładzie piksela powyżej uśredniamy kilka różnych wartości, które są nieznane N, więc średnia zbliży cię do tego ideału N.


3
To nie tylko redukcja błędów - w rzeczywistości w tym przypadku NIE MA WIĘCEJ redukcji błędów - to uzyskiwanie WIĘCEJ informacji poprzez przechwytywanie nominalnie tych samych danych wielokrotnie i szukanie dodatkowych informacji, które są obecne w rozdzielczości lepszej niż wysokość czujnika. Dodanie mechanicznego ditheringu do czujnika między strzałami, a następnie ich ponowne wykonanie, pomogłoby to. // DSLR Sony A77 i niektóre inne Sony mają tryb agregacji z niskim poziomem szumów, który NIE jest tylko programem uśredniającym. Możesz znacznie przesunąć aparat, ponieważ zajmuje on 6 klatek i nadal uzyskuje lepszy obraz.
Russell McMahon

1
To wyjaśnia, jak działa układanie obrazów w celu redukcji szumów. Podczas gdy nadmierny hałas może przeszkadzać w rozwiązywaniu problemów, super-rozdzielczość jest inna, ponieważ wymaga co najmniej ruchu kamery w celu zwiększenia rozdzielczości.
Matt Grum,

Jak już wspomniano, opisujesz nie super rozdzielczość, ale układanie obrazów. Nie zwiększa to rozdzielczości, ale zmniejsza szum.
Håkon K. Olafsen

Podczas gdy tytuł pytania wspomina o super-rozdzielczości, pytanie w ciele dotyczy „układania kopii tego samego obrazu”. To, co wyjaśniłem, to w rzeczywistości jeden z wielu sposobów na zwiększenie rozdzielczości twoich zdjęć i można to zrobić za pomocą dowolnego aparatu.
Miguel

1

Oto, co rozumiem. Ludzie powinni czuć się swobodnie, zwracając uwagę na wszelkie nieporozumienia, abyśmy wszyscy byli podbudowani, ale mam nadzieję, że faktycznie wskażą każdy, kogo zauważą, a nie tylko bełkoczą w swoim piwie. (lub brody lub ...).

Upraszczając i upraszczając, na różnych zdjęciach są nieco inne informacje i do wykrycia i wyodrębnienia tych dodatkowych informacji oraz połączenia ich w spójny, addytywny sposób stosuje się różne metody.

Warto zauważyć, że nie gwarantuje się, że system będzie działał we wszystkich przypadkach.
Strona [Wikipedia Super-Resolution] zauważa:

  • W najpopularniejszych algorytmach SR informacje uzyskane w obrazie SR zostały osadzone w obrazach LR w formie aliasingu.

    Wymaga to, aby czujnik przechwytujący w systemie był na tyle słaby, że faktycznie zachodzi aliasing. System o ograniczonej dyfrakcji nie zawiera aliasingu, podobnie jak system, w którym cała funkcja przenoszenia modulacji systemu odfiltrowuje treści o wysokiej częstotliwości.

Aliasing to zdolność systemu do prawidłowej prezentacji danych danych częstotliwości. Zobacz „wyjaśnienie” jako koniec.

Jeśli dobrze je rozumiem (i mogę, ale nie muszę), ich wyrażenie „jest wystarczająco słaby” oznacza, że ​​są to dodatkowe informacje, których sam czujnik nie jest w stanie rozwiązać, które zwykle uważa się za złe, więc zwykle jest to tłumione, jeśli to możliwe, VBUT, że to „alias” system SR potrzebuje dodatkowych informacji. Nikon D800r nie ma antyaliasingowego filtra optycznego na czujniku, podczas gdy std D800 i prawie wszystkie inne lustrzanki cyfrowe mają taki filtr.

MTF to w rzeczywistości zdolność obiektywu do wytworzenia kontrastu LUB do wytworzenia „ostrości” (te dwie są ściśle ze sobą powiązane. MTF jest zwykle najlepsza w pobliżu środka soczewki i, z prostokątnym obrazem, spada w kierunku krawędzi, a częściej w rogach obrazu Mówią, że zdolność systemu do generowania obrazu w super rozdzielczości zależy od jego zdolności do renderowania kontrastu i ostrości - tj. Od jego jakości, tj. Obiektyw musi być co najmniej tak dobry, jak obiektyw, który wyprodukowałby super rsolutionj iomage bezpośrednio, jeśli poprawione zostaną możliwości czujnika i procesu.


Aliasing zachodzi, gdy próbka strumienia informacji jest próbkowana tak wolno, że niektóre informacje o wysokiej częstotliwości zmieniają się szybciej; y niż częstotliwość próbkowania i „zawija się” i wydaje się, że jest to tak naprawdę składnik o niższej częstotliwości. W systemie ograniczającym częstotliwość próbkowania musi być co najmniej dwukrotnie wyższa od najwyższej dostępnej prędkości informacyjnej, ale w praktyce wymagane są nieco wyższe prędkości niż ta.

Prosty przykład:

  • Rozważ sekwencję 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    Oczywiście istnieje wzorzec, który powtarza się co 12 jednostek.
    Jest to trójkąt, który rośnie przez 6 cykli i zmniejsza przez kolejne 6 cykli, a następnie powtarza, z okresem = 12 jednostek.

    Teraz próbkuj sekwencję tylko 11 razy. Otrzymujemy
    0 1 2 3 4 5 6 5 4 3 2 1
    To jest dokładnie ten sam wzór, ALE zmienia się 11 razy wolniej - fala trójkąta z okresem 11 x 12 = 132 jednostki.

    Próbkuj tę samą sekwencję co 8 raz, a otrzymasz 0 4 4 0 4 4 0 4 4,
    tzn. Wygląda ona jak kwadratowa fala 1: 2 z kropką = 24 jednostki.

    Każdy okres próbkowania dłuższy niż 6 jednostek czasu = pół cyklu spowoduje takie błędy aliasingu.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.