Jak wykonać kopię zapasową 20 + TB danych?

W firmie, w której pracuję, mamy serwer NAS, który służy do przechowywania sesji fotograficznych. Każda sesja kosztuje około 100 GB. W ciągu ostatnich kilku lat ten serwer zgromadził ponad 10 TB danych, a wykładniczo zwiększamy liczbę sesji zdjęciowych. Szacuję, że do końca przyszłego roku na tym serwerze NAS będzie przechowywanych ponad 20 TB. Obecnie wykonujemy kopię zapasową tego serwera na taśmie przy użyciu taśm LTO-5 w programie Symantec BackupExec. Ponieważ rozmiar tego serwera urósł, pełne kopie zapasowe tego serwera nie kończą się z dnia na dzień. Czy ktoś ma jakieś sugestie, jak wykonać kopię zapasową tej ilości danych? Czy powinniśmy tworzyć kopię zapasową na taśmie? Czy są jakieś inne opcje, które mogą być lepsze?

Musisz cofnąć się o krok i przestać myśleć: „Mam 20 TB na moim serwerze NAS, muszę wykonać kopię zapasową!” i opracuj strategię przechowywania, która uwzględni charakter Twoich danych:

• Skąd pochodzi i ile nowych danych otrzymujesz? (masz to w swoim pytaniu)
• Jak wykorzystywane są dane, gdy już je masz? Czy ludzie edytują zdjęcia? Czy przechowujesz oryginały i generujesz edytowane wersje?
• Jak długo trzeba przechowywać wszystkie dane? Czy ludzie wciąż wprowadzają zmiany do zdjęć sprzed 2 lat?

W zależności od odpowiedzi na dwa ostatnie pytania prawdopodobnie potrzebujesz więcej Systemu archiwizacji niż zupełnie innego systemu tworzenia kopii zapasowych.

Dane, które są statyczne (np. Zdjęcia 2-letnie, które zachowujesz „na wszelki wypadek”) nie muszą być tworzone co noc, a nawet co tydzień, muszą być archiwizowane. To, co faktycznie robisz, może być bardziej złożone, ale koncepcyjnie wszystkie stare zdjęcia można zapisać na taśmie (wiele kopii!) I nie można ich już tworzyć.

Na podstawie twoich komentarzy, kilka dodatkowych przemyśleń:

• Ponieważ zachowujesz oryginały każdej sesji nietknięte i pracujesz nad kopią, i zakładając, że przynajmniej niektóre oryginalne zdjęcia są niewypałami, możesz być w stanie zmniejszyć ilość danych, których kopię zapasową potrzebujesz na pół.

• Jeśli nadal nie możesz dokończyć pełnej kopii zapasowej w jakimkolwiek oknie czasowym, to powszechnym sposobem na przyspieszenie jest najpierw wykonanie kopii zapasowej z dysku na dysk, a następnie skopiowanie kopii zapasowej na taśmę.

Masz dwie opcje:

Opcja 1:

1. Kup inny NAS
2. Daj swoim użytkownikom RO dostęp do new_NAS
3. Przenieś wszystkie pliki starsze niż 2 lata do new_NAS
4. Twórz kopie zapasowe old_NAS jak zwykle
5. Co 6 miesięcy przenieś pliki starsze niż 2 lata do new_NAS

Opcja 2:

1. Kup inny NAS

2. Uruchom rsyncco godzinę: old_NAS -> new_NAS

   lub lepiej użyć czegoś takiego jak rdiff-backup, który robi rsync + utrzymuje delty ze zmianami plików (możesz przywrócić starsze wersje plików)

   rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
   

3. Co 6 miesięcy czyść stare pliki, uruchamiając coś takiego:

   rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
   

Dlaczego kopie zapasowe muszą zostać wykonane z dnia na dzień? Wydajność serwera plików? Być może będziesz w stanie ograniczyć przepustowość oprogramowania do tworzenia kopii zapasowych, aby ograniczyć wpływ w ciągu dnia. Lub poświęć interfejs na swoim NAS, aby rozmawiać z napędem taśmowym, aby ograniczyć wpływ na inny ruch.

Czy potrafisz wykonywać pełne zrzuty w weekendy i robić przyrosty tylko w ciągu tygodnia? Jeśli problemem jest zmiana taśm w weekend, kiedy nikogo nie ma w pobliżu, tania biblioteka / automatyczny zmieniacz taśm kosztuje znacznie mniej niż płacenie komuś za zmianę taśm.

Czy możesz podzielić swoje dane na wiele grup, które są wystarczająco małe, aby wypełnić je w oknie kopii zapasowej?

Mamy około 50 TB danych na naszym serwerze NAS i pełny zrzut całego urządzenia za pomocą 2 napędów taśmowych zajmuje tydzień (jeden wolumin zajmuje prawie tydzień, ponieważ zawiera wiele małych plików). To, co robimy, to replikacja naszych danych na drugi serwer NAS. Nasz drugi serwer NAS znajduje się na miejscu (ale w innym centrum danych niż podstawowy), więc nadal buforujemy dane na taśmę w celu tworzenia kopii zapasowych poza miejscem. Wykonujemy kopie zapasowe z tego drugiego serwera NAS, aby kopie zapasowe nikogo nie spowalniały.

Jeśli umieścisz drugi serwer NAS wystarczająco daleko, to może to być twoja kopia zapasowa, nie potrzebujesz taśm.

Mam tylko wątpliwości co do wielkości każdej sesji zdjęciowej, czy to naprawdę 100 GB / sesję? Ile sesji wykonuje Twoja firma każdego miesiąca?

Ponieważ przechowujesz głównie stare sesje, które nie będą często używane itp., I prawdopodobnie nie musisz często odzyskiwać tych informacji, sugeruję skorzystanie z usług innej firmy, aby zająć się tym zadaniem. .

Na przykład przechowywanie tych 20 TB za pomocą usługi online, takiej jak Amazon Glacier, kosztowałoby nieco ponad 200 USD miesięcznie. Jeśli musisz często pobierać te archiwa lub nawet odzyskać je w całości, uderzyłoby to w ograniczenia czasowe / kosztowe. Jeśli po prostu przechowujesz te rzeczy „dla pewności, że są one przechowywane”, być może użycie trzeciej części może ułatwić Ci życie (a nawet tańsze niż zakup innego NAS, taśm itp.)

full backups of this server are not completing overnight
Następnie spróbuj wykonać przyrostowe kopie zapasowe? Jedna pełna kopia zapasowa co xx dni, reszta przyrostowa.

Dyski twarde są niedrogie, szybsze niż taśmy i można ich używać do tworzenia kopii zapasowych.

Istnieją również dobre alternatywy dla kopii zapasowych w chmurze, więc nie jest konieczne dodawanie kolejnych i szybszych taśm.
Na przykład:

• Usługi chmurowe Red-Gate
• Magazyn kopii zapasowych Amazon
• Wsparcie dla Amazon Glacier (tanie długoterminowe przechowywanie)

Myślę, że najlepszym rozwiązaniem jest to, co robimy z naszymi danymi płacowymi, co powinno wymagać minimalnego wysiłku, aby je wdrożyć.

• Początkowo jest przechowywany z resztą danych serwera, które są codziennie archiwizowane. Nasz okres przechowywania tych kopii zapasowych wynosi 13 miesięcy.

• Kiedy już nie spodziewamy się, że dane będą musiały zostać zmodyfikowane (dwa okresy płatności później, IIRC), dane są zapisywane (za pomocą skryptu) do woluminu archiwalnego, który jest wykluczony z regularnych kopii zapasowych.

• Kopia zapasowa woluminu archiwizowanego jest corocznie, a taśmy są wysyłane do Cintas w celu przechowywania na czas nieokreślony.

To pozwala nam mieć łatwy dostęp online do tych niezmiennych danych (więc nie musimy dzwonić na taśmę za każdym razem, gdy księgowy chce na coś spojrzeć), zachowując jednocześnie nieokreślone archiwa danych poza witryną, które mogą być potrzebne do przechowywania na zawsze i bez kruszenia naszego systemu tworzenia kopii zapasowych. Wygląda na to, że ten sam typ konfiguracji może Ci pomóc, ale możesz dostosować ilość danych przechowywanych online, w zależności od potrzeb dostępu do tych danych w odpowiednim czasie - 20 TB pamięci masowej klasy korporacyjnej jest znacznie droższe niż archiwizowanie go w dwóch lub trzech zestawach taśm LTO5, które przechowujesz w skarbcach zewnętrznych.

Może uda ci się zbudować własną kapsułę Backblaze : 135Tb za 7384 $
Kliknij tutaj, aby uzyskać więcej informacji: Informacje o budowie Backblaze Pod

Możesz kupić potrzebne elementy i sam je zbudować.

Może uda ci się zbudować 3 z nich i zatrzymać 2 na miejscu i 1 na zewnątrz. Następnie możesz użyć jednego zasobnika jako „danych online”, drugiego zasobnika na miejscu jako kopii zapasowej pierwszego zasobnika, a trzeciego zasobnika na zewnątrz jako awaryjnej kopii zapasowej w terenie.

Dzięki 135 TB miejsca na każdy moduł, możesz nawet pomyśleć o zachowaniu historii zmian ...
135 TB / 20 TB = 19 pełnych kopii zapasowych .
Alternatywnie możesz zachować 10 pełnych kopii zapasowych plus śmieszną ilość różnicowych kopii zapasowych.

Oczywiście, jeśli chcesz wykonać kopię zapasową poza siedzibą, potrzebujesz pewnego rodzaju dużej przepustowości ... :-)

Mój współpracownik kupił 8-dyskowy serwer Synology NAS. Działa hybrydowy RAID. Kilka tygodni temu kupił osiem 3 TB Seagate Barracuda od NewEgg za 89 USD. Możesz zsynchronizować kopię lustrzaną z produkcyjnego NAS do tego nowego NAS przez GigaBit. Ponieważ przenosisz tylko różnice, przeniesienie potrwa krócej. Następnie możesz użyć zapasowego serwera NAS do wykonania pełnej lub przyrostowej operacji. Koszt dla Ciebie wyniósłby poniżej 2000 USD za zapasowy serwer NAS.