Przenieś 10 TB plików z USA do brytyjskiego centrum danych

Migruję mój serwer z USA do Wielkiej Brytanii z jednego centrum danych do drugiego. Mój gospodarz powiedział, że powinienem być w stanie osiągnąć 11 megabajtów na sekundę.

System operacyjny to Windows Server 2008 na obu końcach.

Mój średni rozmiar pliku wynosi około 100 MB, a dane są podzielone na pięć dysków 2 TB.

Jaki byłby zalecany sposób przesłania tych plików?

• FTP
• SMB
• Rsync / Robocopy
• Inny?

Nie przejmuję się zbytnio bezpieczeństwem, ponieważ i tak są to pliki publiczne, ale chcę tylko rozwiązania, które może przesunąć pełną szybkość przesyłania 11 MB / s, aby zminimalizować całkowity czas przesyłania.

Zamiast tego wysyłaj dyski twarde przez ocean.

Przy prędkości 11 Mb / s przy pełnym wykorzystaniu, wystarczy zaledwie 90 dni na przesłanie 10 TB.

11 Mbps = 1.375 MBps = 116,015 GB / dzień .

10240 GB / 116,015 GB / dzień = ~ 88,3 dni .

Powiedziałbym, że rsync, przy 11 MB / s spojrzysz na 10-14 dni i nawet jeśli zostaniesz przerwany, rsync łatwo uruchomi się tam, gdzie przestał ostatnim razem.

Przy prędkości 11 Mb / s wysyłam dyski twarde jak sugerowano powyżej :)

Oczywiście Rsync.

Przynajmniej możesz kontynuować w dowolnym momencie po przerwie i to bez żadnego bólu.

Nigdy nie lekceważ przepustowości wozu kombi pełnego taśm

- Trad.

W twoim przypadku dyski lub taśmy wysyłane przez kuriera, ale zasada ta nadal obowiązuje. Jeśli nie obawiasz się opóźnień, będzie to znacznie tańsze niż przepustowość sieci do przesyłania 10 TB danych w rozsądnym czasie.

Powinieneś użyć rsync. Będzie on kompresować dane i de-powielać je przed wysłaniem. Może także wznowić przelewy częściowe, co jest bardzo ważne w przypadku dużych transferów.

Prawdopodobnie nie przenosi 10 TB; jeśli są to dzienniki i tekst i takie mogą być mniejsze niż 1 TB; być może znacznie poniżej 1 TB.

Istnieją narzędzia, które lepiej wykonują kompresję niż rsync i prawdopodobnie znajdują więcej dopasowań. Możesz użyć lrzipitp.

Istnieją określone typy danych, które nie kompresują się dobrze i nie zawierają dosłownych duplikatów - na przykład filmy i inne media. W takich przypadkach FTP i rsync wykonują ten sam wysiłek.

Wiem, że jest to już akceptowane, ale czy zastanawiałeś się nad zabraniem dysków do centrum danych / dostawcy / hosta, gdzie możesz uzyskać większą przepustowość? Prawdopodobnie będzie to kosztować trochę pieniędzy, ale kopiowanie 10240 Gb na dyski kopii zapasowych, a wysyłanie będzie kosztować zarówno czas, jak i pieniądze (2 x pieniądze).

Ponadto będziesz mieć pewność, że Twoje dyski nie ulegną uszkodzeniu w transporcie.

11 Mb / s? Jest to dość ograniczone ograniczenie. W twojej sytuacji po prostu:

• Sklonuj dane
• Kompresuj to
• Wynajem serwerów na obu końcach z co najmniej 10 razy większą przepustowością (w tych samych centrach danych lub na twoim końcu w centrum danych w pobliżu).
• Prześlij pliki
• Zastosuj dane na nowym serwerze.

Jeśli naprawdę nie masz rozwiązania, aby zwiększyć przepustowość ... Wysyłanie dysku fizycznego będzie znacznie szybsze.

Z mojego bolesnego doświadczenia dyski twarde mają tendencję do uszkadzania poczty ... Dyski flash USB są znacznie lepszym rozwiązaniem do częstego przesyłania danych. W twoim przypadku wymagałoby to kilku z nich :) Wyślij więc 2 kopie danych na wiele dysków twardych.

Biorąc pod uwagę ilość danych, które możesz mieć, możesz również wysyłać dyski z macierzy RAID 5 lub RAID 6, jeśli masz ten sam sprzęt / oprogramowanie po drugiej stronie, aby podłączyć dyski. Ale w takim przypadku pamiętaj, aby zaznaczyć kolejność dysków i ich numery seryjne, więc podczas ponownej konfiguracji nie mylą się.

Chociaż w tym przypadku muszę zgodzić się na odpowiedź „wyślij to przy użyciu dysków twardych”, oto rozwiązanie do kopiowania, którego używam, gdy po raz pierwszy muszę skopiować duże ilości plików:

Chociaż rsyncdobrze jest zsynchronizować dwa magazyny danych, wprowadza sporo niepotrzebnego obciążenia na początkowy transfer. Doszedłem do wniosku, że najszybszym sposobem jest tarprzeniesienie się netcat. Na stronie odbiornika można również użyć netcatw trybie nasłuchu , który przesyła przychodzące dane do rozpakowywania tar. Zaletą jest to, że tarnatychmiast rozpoczyna wysyłanie i netcatwysyła jako zwykły strumień TCP bez dodatkowego obciążenia protokołu wyższego poziomu. Powinno to być tak szybkie, jak to możliwe. Ponowne uruchomienie przerwanego transferu na ostatniej pozycji nie jest jednak proste.

Można również łatwo skompresować dane do przesłania przy użyciu odpowiednich taropcji lub dodać narzędzie do kompresji w rurach. Pamiętaj, że netcatdata jest niezaszyfrowana. W przypadkach, gdy nie jest to opcja, sshzamiast tego można użyć szyfrowanego połączenia ( tar <options> | ssh <target> -c 'tar -x <options>').

Jeśli wszystkie dane są przesyłane, rsyncmożna zsynchronizować wszystkie pliki, które zostały w międzyczasie zaktualizowane. Również IIRC tarnie tworzy gniazd, które w przeciwnym razie zostaną zgubione, ale tak naprawdę nie są one wykorzystywane do danych w centrum danych.

Czy rozważałeś IPoAC ?

Pojedynczy gołąb może być w stanie przenieść dziesiątki gigabajtów danych w ciągu około godziny, co w przypadku średniej przepustowości bardzo korzystnie porównuje się z obecnymi standardami ADSL, nawet w przypadku zgubienia dysków.

Ponownie, pierwszą sugestią jest wysłanie dysków.

Drugą sugestią jest użycie rsync do rsyncd, a nie przez SSH. Próbowałem wielu rzeczy i zwykle jest to najszybszy. Pamiętaj, aby włączyć kompresję. Spójrz także na zwiększenie lub zmniejszenie rozmiaru bufora rsync, aby uzyskać optymalną szybkość transferu. Może to również pomóc zwiększyć rozmiar MTU . Pomaga to tylko wtedy, gdy routery na trasie nie fragmentują twoich pakietów. Istnieją sposoby, aby ustalić, czy tak.

Niestety nie ma ustawienia, które zawsze jest najlepsze. Będziesz musiał eksperymentować, aby dowiedzieć się, co działa najlepiej w twojej sytuacji.

Wspomniałeś, że na serwerach działa system Windows 2008. Czy Microsoft DFS byłby odpowiedni? W dolnej części jest trochę magii, która próbuje uzyskać jak największą przepustowość połączenia, a także ma kompresję i duplikację (IIRC).

Pamiętaj, że dyski twarde, DVD lub BluRays byłyby szybsze ... Moje obliczenia to 11 dni przy pełnych 11 MB / s ...

Możesz do tego użyć torrenta.

Utwórz prywatny torrent na jednym końcu i użyj klienta na drugim.

Chociaż istnieje szyfrowanie, musisz sprawdzić swoje wymagania.