Dlaczego zdjęcia ulegają uszkodzeniu na dyskach twardych komputera?

13

Nie jestem profesjonalnym fotografem, ale bardzo cenię moje zdjęcia. Czasami, gdy przeglądam je miesiące lub lata po ich zażyciu, niektóre z nich po prostu okazują się skorumpowane bez wyraźnego powodu. Często dostaję takie rzeczy, jak szare obszary, zmienione kolory, zaczynając od pewnego momentu, a nawet zdjęcia, których nie można wyświetlić. Używam zarówno Windows, jak i Linux OS na moich komputerach.

Dlaczego tak się dzieje i, co najważniejsze, jak tego uniknąć ?

data-corruption

— Petru Dimitriu
źródło

Czy to stare zdjęcia? tj. zdjęcia, które kiedyś wyglądały dobrze i których później nie poruszałeś się na dysku? A może są to zdjęcia, które ostatnio zrzuciłeś na dysk, ale okazało się, że są teraz uszkodzone?

— user541686,

4

Głosuję za zamknięciem tego pytania jako nie na temat, ponieważ dotyczy ogólnego zarządzania IT i awarii sprzętu / oprogramowania. Zasady mające zastosowanie do plików fotograficznych dotyczą także każdego innego dokumentu, filmu lub aplikacji.

— James Snell,

3

Odpowiedziałem już tutaj .

— JDługosz

Jak tego uniknąć: używaj ZFS na serwerze plików, na którym przechowuję moje zdjęcia.

— JDługosz

17

Istnieją dwie główne przyczyny. Pierwszym z nich jest degradacja danych . Bity przechowywane na nośnikach magnetycznych (takich jak dysk twardy) mogą z czasem utracić orientację magnetyczną, powodując uszkodzenie. W trudniejszych warunkach (wysokie ciepło i wilgotność) same media fizyczne mogą zacząć się degradować. W przypadku mediów półprzewodnikowych, takich jak dysk SSD, mechanizm jest inny, ale wynik jest podobny.

Częstszym zjawiskiem jest ciche uszkodzenie danych , w wyniku którego podczas zapisu lub odczytu danych występuje błąd. Chociaż obraz pod poprzednim linkiem jest skrajnym przykładem, często pojedynczy odwrócony bit może uszkodzić obraz.

Istnieją dwa rozwiązania tych problemów i przy założeniu, że obrócisz kopie zapasowe, same kopie zapasowe nie pomogą. Bardziej skomplikowanym i technicznym podejściem jest użycie systemu plików z wbudowanymi mechanizmami integralności danych (takimi jak ZFS lub btrfs), podczas gdy prostszym podejściem byłoby obliczenie skrótu dla każdego pliku między kopiami zapasowymi w celu wykrycia jakichkolwiek zmian.

— alldayremix
źródło

ZFS lub Btrfs w systemach * nix lub ReFS w Windows.

— CVn

7

Nie fotograf, ale maniak integralności danych. Musiałem dołączyć do tej społeczności, aby głosować na tę odpowiedź. Gdy piszę już komentarz, mógłbym dotknąć nieco więcej informacji na temat „pojedynczy odwrócony bit może uszkodzić obraz” . Dzieje się tak, ponieważ JPEG i inne formaty z założenia usuwają tyle nadmiaru, ile mogą, to jest ich sedno. Jeśli możesz trochę odwrócić i nadal rozpoznać obraz, ten bit nie był wart przechowywania (z grubsza). W ten sposób nieskompresowane formaty mogą być bardziej odporne i ulegają degradacji bardziej płynnie. Prawdopodobnie nie jest warta dodatkowej 1000% kary.

— rura

1

@pipe Probably not worth the extra 1000% penalty in size...Powiedziałbym dokładnie odwrotnie - strzelaj RAW, przechowuj RAW, rAW kopii zapasowej. Trzymasz negatywy, a nie odbitki.

— J ...

1

@J ... Uważaj tylko, aby Twój format RAW nie był skompresowany bezstratnym algorytmem, a wtedy nadal masz podobny problem. Najlepszą opcją jest zastosowanie się do rekomendacji w odpowiedzi, którą komentujemy. Przechowywanie plików RAW ma oczywiście inne zalety. :)

— fajka

1

Śmiało, skompresuj i użyj par2, aby dodać użyteczną redundancję.

— JDługosz

17

Nie będę się zbytnio przejmować tym, jak to się dzieje, ponieważ dyski twarde ulegną awarii; tak jak wszystko inne na tym świecie, nie są idealne. Nie możesz dojść do stanu, w którym nigdy nie stracisz pliku.

Możesz jednak przejść do stanu, w którym nigdy nie stracisz zdjęcia - robisz to, mając wiele kopii na osobnych dyskach twardych, w tym co najmniej jedną w osobnej lokalizacji fizycznej. Wtedy nie miało znaczenia, że jeden dysk ulegnie awarii, ponieważ możesz po prostu pobrać zdjęcie z innej lokalizacji.

— Philip Kendall
źródło

Zastanawiam się, czy istnieje program, który może automatycznie sprawdzać integralność plików obrazów. Może nie - uszkodzony plik JPEG może nadal być prawidłowym plikiem JPEG.

— osullic

5

Jak skomentowano w innym miejscu, nie martw się próbą ustalenia, czy są zepsute, czy nie, po prostu martw się o to, co zmienili.

— Philip Kendall,

Jeśli zdjęcia ulegają uszkodzeniu w krótkim czasie i stają się bezużyteczne, dlaczego nie dzieje się tak w przypadku zwykłych plików? Przypuszczam, że gdyby tak się stało ze zdjęciami, systemy operacyjne prawdopodobnie losowo zawiodłyby, wszelkiego rodzaju dokumenty losowo stałyby się nieczytelne ... ale do tej pory tego nie widziałem.

— Petru Dimitriu

@PetruDimitriu Zdjęcia i wideo zajmują dużo miejsca, jeśli jeden bit się przewraca, a 90% twojego dysku twardego zawiera zdjęcia, ten bit ma 90% szans na bycie na zdjęciu, a nie w żadnym innym pliku. Jeśli masz pecha, a ten bit znajduje się w ważnej części ważnego pliku systemowego (a nie pliku Readme), twój komputer prawdopodobnie ulegnie awarii w pewnym momencie i nie będziesz wiedział dlaczego.

— Jens

2

Odpowiedź na pytanie, dlaczego tak się dzieje, zależy od typu napędu, rodzaju pliku, systemu plików i używanego systemu operacyjnego, dlatego nie można udzielić pełnej odpowiedzi na to pytanie.

Ale jeśli chodzi o to, jak tego uniknąć, druga odpowiedź dotyczy tworzenia kopii zapasowych - jednak przy takim uszkodzeniu plików potrzebujesz sposobu, aby zidentyfikować, kiedy konkretna kopia pliku została uszkodzona i uniknąć kopiowania tego do kopii zapasowych. Bardzo łatwo jest uzyskać 2 uszkodzone kopie pliku. Techniczną odpowiedzią jest użycie sum kontrolnych i porównanie ich w celu zidentyfikowania uszkodzonych plików.

Najlepszym sposobem, aby tego uniknąć, jest skorzystanie z internetowej usługi pamięci masowej, która obsłuży nadmiarowość i integralność plików.

— Harry Harrison
źródło

„skorzystaj z usługi magazynu online, która obsłuży nadmiarowość i integralność plików.” ... a ich klient automatycznie wykrywa zmianę w lokalnej kopii zdjęcia i przesyła nową wersję, która jest uszkodzona . Przechowywanie w chmurze nie zastąpi dobrych zasad tworzenia kopii zapasowych i jakiegoś sposobu faktycznego wykrywania korupcji. Porównaj Co jest potrzebne do pełnego systemu tworzenia kopii zapasowych? .

— CVn

@ MichaelKjörling wykorzystujący pamięć online jako dodatkową kopię danych podrzędnych będzie miał ten efekt, ale przechowywanie kopii głównej w pamięci nie ulegającej zniszczeniu. Zasadniczo zawsze synchronizuj dane z bardziej niezawodnej pamięci do mniej niezawodnej pamięci.

— Harry Harrison,

1

@ MichaelKjörling

their client automatically detects the change to the local copy of the photo and uploads the new version, which is corrupted.

W rzeczywistości jest to interesujący punkt, ponieważ jeśli uszkodzenie nie jest w warstwie oprogramowania, klient nie będzie w stanie wykryć uszkodzenia, chyba że ponownie napiszesz plik.

— Michael

2

@HarryHarrison Nie zgadzam się. Nie chcę automatycznie synchronizować (np.) Mojego NASa z lokalnym dyskiem twardym tylko dlatego, że mój NAS jest bardziej niezawodny - wciąż istnieje szansa, że to NAS jest zepsuty, a nie mój lokalny dysk twardy (a właściwie znacznie bardziej prawdopodobne, Wytarłem coś grubym palcem i sam zepsułem plik na serwerze NAS). Potrzebna jest tu ręczna interwencja - nie powinna być tak powszechna, chyba że jesteś Associated Press.

— Philip Kendall,

1

Nikt nie ma niezniszczalnego magazynu. Nawet S3 to „tylko” 12 dziewiątek.

— Philip Kendall,

1

Pliki zdjęć nie są pod tym względem wyjątkowe, każdy plik na komputerze może zostać uszkodzony. Pliki JPEG najprawdopodobniej częściej pokazują korupcję w oczywisty sposób niż wiele innych typów plików, więc możesz to zauważyć bardziej (patrz komentarz @ pipe do odpowiedzi @ alldayremix).

Pliki mogą być uszkodzone na wiele sposobów, dyski twarde (inne niż SSD) mogą być umieszczone zbyt blisko magnesu, dyski CD i DVD mogą stopniowo gnić, a zakłócenia elektryczne i błędy w oprogramowaniu układowym lub oprogramowaniu mogą uszkodzić przesyłane pliki. Są też inne powody, ale proponuję zapytać na stosie bardziej komputerowym, jeśli chcesz uzyskać więcej szczegółów.

Jeśli chodzi o to, co można z tym zrobić, najlepszą odpowiedzią, jaką mogę wymyślić, jest obliczanie skrótów i przechowywanie wielu kopii zdjęć. W tym celu napisałem darmowy program typu open source, aby rozwiązać ten problem: Archiverify .

Działa poprzez obliczanie skrótów, przechowywanie skrótów obok obrazów i porównywanie plików z skrótami po uruchomieniu. Tak długo, jak masz więcej niż jedną kopię pliku, może ona automatycznie odświeżyć uszkodzoną kopię z dobrej (zakładając, że obie nie zostaną uszkodzone jednocześnie).

Alternatywnie, jestem pewien, że dostępne są płatne usługi przechowywania / tworzenia kopii zapasowych, które okresowo sprawdzają i sprawdzają za kulisami.

— Dan
źródło

1

Teoretycznie taka odpowiedź jest w porządku, ale prawdopodobnie warto przeczytać Jak nie być spamerem (zignoruj lekko podrażniony tytuł, nie sądzę, aby poszczególne społeczności SE miały nad tym kontrolę). Jednak ... ten post nie odpowiada na zadane pytanie („Dlaczego zdjęcia ulegają uszkodzeniu?”), Więc zamiast tego może zostać potencjalnie usunięty.

— Philip Kendall,

Dzięki, to prawda, to nie odpowiada na główne pytanie, postaram się to rozwiązać. Odpowiada jednak na „najważniejsze” pytanie pomocnicze.

— Dan

@scottbb Odpowiedź została znacznie zmieniona, odkąd opublikowałem ten komentarz. Zobacz historię edycji.

— Philip Kendall,

@PhilipKendall przepraszam, nie zauważyłem historii.

— scottbb,

0

Istnieje wiele przyczyn, jak podano powyżej. Może to być po prostu naturalne zużycie w czasie, które uszkadza kawałki plików lub degraduje fizycznie. Ciągłe znajdowanie zdjęć i innych plików poważnie uszkodzonych może być oznaką wirusa komputerowego. Jeśli nie chcesz, aby Twoje pliki były uszkodzone przez pierwsze dwa sposoby, zainwestuj w dysk SSD, ponieważ nie ulegnie on tak szybkiemu pogorszeniu i będzie 10 razy szybszy. (Możesz także chcieć wykonać szybkie skanowanie w poszukiwaniu wirusów).

— anonimowy
źródło

0

Dlaczego tak się dzieje i, co najważniejsze, jak tego uniknąć?

Powinieneś zadać to pytanie na Security.SE.

Aby uniknąć uszkodzenia, wykonaj kopie zapasowe .

W technologii informatycznej tworzenie kopii zapasowej lub proces tworzenia kopii zapasowej odnosi się do kopiowania i archiwizacji danych komputerowych, więc można ich użyć do przywrócenia oryginału po zdarzeniu utraty danych. Forma czasownika polega na utworzeniu kopii zapasowej w dwóch słowach, natomiast rzeczownik jest kopią zapasową.

Cyfrowe nośniki optyczne z możliwością zapisu, takie jak CD-R i DVD-R, mogą zostać uszkodzone nawet przez światło słoneczne. Aby tego uniknąć, możesz użyć strategii podwójnej kopii zapasowej. Jednak obecnie mamy tak piękne internetowe metody tworzenia kopii zapasowych zdjęć, takie jak Instagram lub inne usługi online. Na przykład za Dyskiem Google znajduje się duża liczba centrów danych. Każde Twoje zdjęcie będzie przechowywane w systemie plików Google (GoogleFS lub GFS) na serwerach hostowanych w tych centrach danych. Ten system plików został zaprojektowany przez Google w celu ochrony użytkowników przed utratą danych. Twoje zdjęcia zostaną zapisane w trzech przykładach w trzech różnych lokalizacjach geograficznych, aby zabezpieczyć się przed utratą danych z powodu lokalnych klęsk żywiołowych od błyskawicy, tsunami, trzęsienia ziemi itp.

Spróbuj korzystać z wielu usług online jednocześnie (takich jak megaupload, dropbox, wuala, 4shared itp.).

Następnie, dla największej pewności, że żadne z twoich zdjęć nie zostało zmodyfikowane ani uszkodzone, użyjesz sum kontrolnych do zweryfikowania integralności danych.

Suma kontrolna jest niewielkim układem odniesienia z bloku danych cyfrowych w celu wykrywania błędów, które mogły zostać wprowadzone podczas jego przesyłania lub przechowywania.

Najlepszym sposobem jest użycie kryptografii do takiego zadania. Korzystaj z najnowszych stabilnych funkcji skrótu, takich jak SHA-256 lub SHA-512. Starsze algorytmy, takie jak MD5, są teraz uważane za niepewne. Współczesny atakujący mógłby sfałszować twoje dane przy użyciu tej samej sumy md5.

Gdy skończysz, będziesz mieć rozproszony system tworzenia kopii zapasowych, który nie będzie łatwo złamać, nawet przez najbardziej wyrafinowanych i oddanych atakujących (takich jak ataki wspierane przez państwo).

Dwie kopie DVD z identycznymi danymi wewnątrz:

   1. Photo1.jpg
   2. Photo2.jpg
   3. Photo3.jpg
 ...
 999. Photo999.jpg
1000. SHA256SUM

Gdzie SHA256SUM zawiera coś takiego:

e5347dce99eb8cf694cf708d4a17d83abb3ec378241b5878c0abdab045859b24  Photo1.jpg
b497a12b608def869a0429d7e6bbbd112bd413256201647a5aff6773de3b7bd9  Photo2.jpg
b15b0d99bf8135286f444fc62bcf70278a89e60650252ab2bd3b6fffd40c4255  Photo3.jpg
...
209732fbdb499f0cad6fd3311b45185667bbb40e501106997d3ac2c49cb30a7e  Photo999.jpg

Linie 209732fbdb499f0cad6fd3...są unikatowymi skrótami twoich zdjęć. Gdy jeden fragment zdjęcia zostanie uszkodzony, ten skrót zostanie zmieniony na inny, abyś mógł przetestować skróty na tej liście, aby mieć pewność, że Twoje zdjęcia zachowują integralność.

Po drugie, wszystkie te zdjęcia i ten plik skrótów SHA256SUM są przesyłane np. Do dropbox i gdzie indziej.

Teraz masz 5 kopii swoich zdjęć. 2 off-line, 2 on-line, 1 na bieżącym dysku twardym.

Oczywiście ten schemat może zostać przekształcony w coś bardziej niezawodnego. Twoja wyobraźnia jest Twoją atutem.

— backupemall
źródło

-1

Nie mogę wykluczyć, że standardy JPEG między starym aparatem a najnowszą przeglądarką zdjęć nieco się rozeszły, więc zdjęcia wyglądają tylko na uszkodzone. Czasami oprogramowanie jest zgodne tylko ze wstępną wersją standardu. Wypróbuj starszą przeglądarkę (na starym komputerze).

— Jeroen van Duyn
źródło

1

Mogę to wykluczyć. Najnowsza aktualizacja standardów JPEG miała miejsce w 2012 roku. Naprawdę podstawowe aktualizacje pochodzą z lat 90. Naprawdę nie ma sensu, aby stan „zdjęcia wyglądały tylko na uszkodzone”. (Mam na myśli, że wszystko brzmi rozsądnie, ale nie pasuje do faktycznej historii.)

— Proszę przeczytać mój profil