Jak pokolorowali stare czarno-białe filmy?

To pytanie jest na dsp.SE, ponieważ najbardziej interesuje mnie część przetwarzania sygnału.

Istnieje indyjski film Mughal-e-Azam, który został wydany w 1960 roku w czerni i bieli, który został odtworzony w kolorze w 2004 roku.

• Jak idealnie pokolorowali każdy piksel?
• Jaką techniką zastosowali się do identyfikacji rozmieszczenia kolorów na każdym pikselu?

Spójrz na jeden ze zrzutów ekranu z filmu:

Mam czarno-białe zdjęcie Einsteina, które chcę pokolorować. Jak można to zrobić, nie wiedząc, co wtedy miał na sobie i jaki był rzeczywisty kolor jego ubrań, tła itp.

Nie ma możliwości odzyskania oryginalnych informacji o kolorze z czarno-białego zdjęcia, więc to, czy Einstein (lub. Waheeda Rehman) miał na sobie różowy lub zielony sweter (lub. Dupatta), zależy od twojej wyobraźni.

Historycznie robiono to ręcznie , malując film. Pierwsze cyfrowe techniki automatyzacji procesu polegały na „malowaniu” kilku kropek koloru na każdej ramce w środku każdego obszaru o jednolitym kolorze i użyciu czegoś w rodzaju partycji voronoi + rozmycie, aby uzyskać mapę kolorów dla każdej ramki ( patrz na przykład patent USA 4606625).

Obecnie można to zrobić stosunkowo łatwo (choć ręcznie) za pomocą oprogramowania do edycji wideo, wykorzystując maski wektorowe do wskazania obszarów o jednolitym kolorze na kilku klatkach kluczowych i interpolując je. Następnie transformacja kolorów jest stosowana do każdej maski. Zobacz to w akcji tutaj .

Można zastosować standardowe techniki segmentacji obrazu i śledzenia regionu, aby zautomatyzować zadanie segmentacji i oznaczania regionów na każdej klatce kluczowej - na przykład poprzez propagowanie ręcznych adnotacji do podobnych / sąsiadujących pikseli w przestrzeni / czasie lub przez wykrywanie regionów o jednolitej teksturze . Podobieństwa tekstury i poziomu szarości można wykorzystać do propagowania kolorów z obrazu kolorowego na obraz w skali szarości przedstawiający podobny temat - w tym przypadku proces ręczny polega tylko na znalezieniu kolorowego obrazu szablonu - to późniejsze zadanie można zautomatyzować za pomocą content- oparte na technikach wyszukiwania obrazów .

Przeczytałem o tym tylko i minęło co najmniej 15 lat, odkąd widziałem cokolwiek w druku, ale rozumiem, że zastosowano wiele algorytmów.

Po pierwsze, jak stwierdzono, niektóre filmy zostały pokolorowane poprzez staranne ręczne zabarwienie każdej klatki. (Pierwsze kilka minut Przeminęło z wiatrem zostało zrobione w ten sposób, po podjęciu decyzji o sfilmowaniu reszty w kolorze).

Następnie stosuje się kilka technik opartych na komputerowym przetwarzaniu obrazu. Najprostszym podejściem jest podzielenie filmu na poszczególne sceny, z których każda nie zmienia się w aparacie, a następnie algorytm komputerowy rozpoznaje regiony o różnej intensywności. Ktoś na monitorze komputera patrzy na kilka pierwszych klatek sceny i ustawia kolor każdego regionu, a następnie komputer przenosi to zabarwienie przez resztę sceny, zakładając, że zidentyfikowane regiony nie zmieniają się tak szybko, że połączenie z ich przypisane kolory zostaną utracone. Technika ta zwykle ogranicza się do kolorowania głównych aktorów i podstawowego tła, ponieważ sceny zmieniają się tak szybko w większości filmów,

Bardziej zaawansowane techniki wykorzystują algorytmy rozpoznawania obrazu do rozpoznawania (np.) Osoby, oddzielania tła od pierwszego planu itp. Następnie kolory mogą być przypisywane w bardziej globalny sposób, a także pewien stopień cieniowania, gdy aktorzy przechodzą od cienia do światła, itd. A ponieważ ten schemat może działać poza jedną sceną, można włożyć więcej wysiłku, aby człowiek początkowo ustawił kolory, dzięki czemu można zastosować bardziej zróżnicowaną i żywą paletę.

Domyślam się (choć nigdy nie czytałem), że można teraz zastosować technikę przypominającą animację komputerową, opartą na technikach animacji filmów akcji. Na oryginalnym filmie można zastosować rodzaj przechwytywania ruchu, a następnie wygenerować komputerową animację akcji. Po dokładnym „zmiksowaniu” szczegółów oryginalnego filmu można zachować podczas korzystania z kolorów generowanych przez animację.

BBC odkryło drogę, dekodując kolorowe kropki, aby przywrócić poprzednio kolorowy film, do którego dostępna jest tylko czarno-biała kopia. Są w stanie przywrócić kolor z powrotem do oryginalnego koloru.

Źródło: http://www.youtube.com/watch?v=CjK-b4x9ZmQ