Jak radzisz sobie z archiwizacją danych? [Zamknięte]

Kopie zapasowe to jedno, ale długoterminowa archiwizacja to inna. Na przykład może być konieczne przechowywanie wiadomości e-mail przez 7 lat lub przechowywanie wszystkich danych projektu przez czas nieokreślony. Kiedyś zapisywałem archiwa na taśmie, ale potem miałem zniszczone taśmy (dyski zrywają taśmę). Więc ... napisz na 2 taśmy, słyszę, jak mówisz. Czy tak robią inni? Masz 2 (lub więcej) taśm z tymi samymi danymi w celu zapewnienia redundancji?

Ale drugim problemem jest to, że taśmy zwykle nie mogą być odczytywane przez różnych dostawców oprogramowania do tworzenia kopii zapasowych. Na przykład, jeśli przejdziesz z Arcserve -> Backup Exec -> Commvault przez 10 lat, będziesz musiał zachować wszystkie 3 systemy, aby móc przywrócić stare dane. Podobnie w przypadku sprzętu. Stare taśmy mogą nie być opatrzone kodem kreskowym. Może nie być kompatybilny z nową biblioteką itp. Więc czy zachowujesz stary sprzęt taśmowy ORAZ stare oprogramowanie na wypadek, gdybyś musiał przywrócić 10-letni plik?

Lub ... kiedy przeprowadzasz się do nowego systemu tworzenia kopii zapasowych, czy migrujesz wszystkie zarchiwizowane dane do nowego systemu i ponownie archiwizujesz je na nowych taśmach? To może być świetna robota.

jakieś pomysły?

O ile danych mówimy? Nasze „archiwalne” dane są na tyle małe, że po prostu przechowujemy je w pamięci na żywo (na urządzeniu NAS), która jest archiwizowana ze zwykłymi danymi na żywo, więc istnieje tak jak nasze zwykłe dane i podlega tym samym technikom odzyskiwania bez martwić się o utrzymanie dziesięcioletniej technologii. Jeśli nasze dane na żywo zostaną przeniesione na nową platformę pamięci, archiwum zostanie przeniesione wraz z nim. Ustawiamy również uprawnienia do danych archiwalnych, aby tylko członek grupy bezpieczeństwa archiwów (z której jest bardzo niewielu użytkowników) miał dostęp do usuwania czegokolwiek z tych folderów.

Jeśli masz do czynienia z większą ilością danych, niż można rozsądnie przechowywać w magazynie na żywo, taśma może być najlepszym rozwiązaniem do przechowywania długoterminowego, w połączeniu z przechowywaniem co najmniej dwóch kopii w różnych kontrolowanych lokalizacjach. Wydawaj je co kilka lat, aby mieć pewność, że nośnik jest nadal czytelny, i migruj ze starszych nośników na nowe, jeśli zmieniasz dostawców, aby mieć nadal dostęp do danych.

W moim przypadku wykonujemy archiwa w celu nagrania na taśmę i powiem wam, dlaczego ma to dla nas sens.

Po pierwsze, oprogramowanie, którego używamy, Tivoli Storage Manager, jest praktyczne, oprogramowanie, którego będziemy używać w dającej się przewidzieć przyszłości. Moim zdaniem TSM jest czołowym ogniwem łańcucha żywnościowego pod względem oprogramowania do tworzenia kopii zapasowych dla przedsiębiorstw, więc problem przejścia na inną platformę oprogramowania jest dla nas stosunkowo niewielki.

To powiedziawszy, utrzymujemy kilka długoterminowych archiwów i mamy kilka różnych sposobów na zrobienie tego. Na szczęście dla nas korzystamy z niektórych najnowszych technologii taśm, które mogą przechowywać do 1 TB na kasetę, więc posiadanie dużej ilości archiwów w bibliotece nie stanowi problemu.

• Archiwizuj na lokalnych taśmach i kopiuj te archiwa do naszego alternatywnego centrum danych, przy czym taśmy archiwalne znajdują się w bibliotece taśm.

Robimy to w przypadku niektórych typów danych, ponieważ dane są regularnie przywracane i są wystarczająco ważne, aby wymagać dwóch kopii.

• Archiwizuj na lokalnych taśmach, ale nie na taśmach zdalnych, i pozostaw taśmy wewnątrz biblioteki.

Robimy to dla nieco mniej ważnych danych, z których należy przywracać w dość regularny sposób.

• Zarchiwizuj na lokalnej taśmie i wyślij je poza miejsce przechowywania.

Powyższe praktyki sprawdziły się dla nas całkiem dobrze w przeszłości. Przeprowadziliśmy migrację do zupełnie innej technologii taśm kilka lat temu i przenoszenie danych było trochę pracy, ale tak naprawdę to nie była wielka sprawa. W TSM było dosłownie jedno polecenie na archiwum o wartości serwera i działało. Uruchomienie może potrwać kilka dni, ale dla nikogo nie był to czynny wysiłek.

Fala przyszłości to oczywiście pamięć dyskowa.

Jak tylko nadarzy się okazja, będę kolokować macierz dyskową w bezpiecznym miejscu do przechowywania i kopiować archiwa typu kontroli długoterminowej na takie urządzenie.

Dwie instalacje EMC Centera (dublowane z różnych lokalizacji). Kosztuje duże dolary, ale działa.

http://www.emc.com/products/family/emc-centera-family.htm

Możesz także spojrzeć na rozwiązanie takie jak Data Domain (obecnie NetApp) . Archiwizują i wykonują zaawansowaną kompresję, którą nazywają DeDupe, dzięki czemu szukają podobnych fragmentów danych i uzyskują bardzo wysoki współczynnik kompresji.

Jakie dane próbujesz wykonać? Czy to wszystkie „losowe” dane, takie jak wideo lub muzyka? Czy są to dane, które mogą się kompresować?

Przejdź do przodu dzięki nowemu rozwiązaniu do archiwizacji i przechowuj taśmy tak długo, jak potrzebujesz tych danych. Jeśli potrzebujesz go na stałe, możesz rozważyć migrację na dysk. Dzięki kopiom zapasowym dysku migracja na przyszłe nośniki jest zdecydowanie łatwiejsza.

Za rok, a może za 2 lata, możesz zacząć odrażać taśmy, jeśli te kopie zapasowe nie są już potrzebne.

Reimplementacja to ogromne przedsięwzięcie, jeśli czas rozwiąże dla ciebie problem. Wykonaj analizę kosztów, jeśli masz koszty związane z przechowywaniem kopii zapasowych i / lub licencji oprogramowania do pracy z nimi.

Twoim problemem z archiwizacją danych, aby uprościć swoją zagadkę, wydaje się być w przyszłości kompatybilność starych taśm z nowym sprzętem.

Moje rozwiązanie: wybierz tylko jednego dostawcę z kompletnym rozwiązaniem (oprogramowanie i sprzęt), któremu ufasz, że zrobi wszystko, aby zaoferować starszą kompatybilność.

I oczywiście otrzymaj bardzo dobry kontrakt pod względem ceny, biorąc pod uwagę twoją wierność;)