Jak uzyskać TB danych na nowy serwer WWW?


31

Mam TB skompresowanych plików multimedialnych, które muszę trochę pilnie dostać na zdalny serwer WWW. (z mojego biura)

Nasz współczynnik wysyłania wynosi tylko 500 KB / s, co sugeruje ~ 23 dni na przesłanie.

Nowa firma hostingowa nie przyjmuje dysków pocztą.

Czy w dobrych obszarach metra można pożyczyć grubszą fajkę?


10
Wiem, że to nie jest odpowiedź, lub nawet szczególnie pomocne, ale jeśli nowa firma hostingowa nie jest chętny do pracy z wami w tej sprawie trzeba znaleźć nową nową firmę hostingową. Nieakceptowanie jazdy od klienta (oczywiście za opłatą) jest dość pechowe.
voretaq7

Sprawdź moją odpowiedź, to firma zajmująca się przechowywaniem danych w Tulsa
Anagio

Tutaj są dobre odpowiedzi, ale czy nie powinno to zostać przesłane do ServerFault?
Mark Hurd

1
Być może, ale widzę awarię serwera jako miejsce do dyskusji na temat konfiguracji sprzętu i oprogramowania, podczas gdy jest to wykorzystanie wszystkiego, co mają do dyspozycji webmasterzy, aby osiągnąć bardziej złożone zadanie
Brian Webster,

Odpowiedzi:


16

Skontaktowałbym się z niektórymi lokalnymi centrami danych (hosting-rack, dostawcy usług zarządzanych itp.) I zapytałbym o wynajem vps lub maszyny wirtualnej na dzień lub dwa. Tylko upewnij się, że pozwalają zabrać ze sobą dysk do pierwszego transferu i są świadomi twoich potrzeb w zakresie przepustowości.

Możesz również zapytać, czy po prostu pomogliby ci w przesłaniu. Często są oportunistyczni, pomysłowi i chętnie przyjmą cię, aby uzyskać szansę na zdobycie części firmy.


3
Istnieje również opcja zdalnego centrum danych: Amazon AWS! Wysyłaj je na dyski twarde, a one naliczają (według tego zapisu) 80 USD za urządzenie, plus 2,50 USD za godzinę ładowania danych oraz wszelkie koszty przechowywania danych, o ile są one dostępne w AWS plus transfer danych. Być może nie jest to najbardziej atrakcyjna opcja, ale po prostu ją wyrzuca.

To dobrze wiedzieć. Często korzystamy z AWS! Czy wiesz, gdzie mogę przeczytać o tej usłudze? Trudno jest znaleźć w google (przynajmniej kluczowych słów, których używam)
Brian Webster,


11

Możesz, jeśli masz przyjaciół lub pracowników, którzy chętnie pomogą ci w połączeniu domowym, skonfiguruj torrent dla dużego pliku i skonfiguruj swoich pracowników / znajomych jako nasiona. Oczywiście musisz załadować i skopiować plik do wszystkich. Nawet wtedy możesz podzielić plik na .rars i poprosić „zespoły” o przesłanie części (uważając, aby nie pobierać plików, których nie mają). Pozyskiwanie tłumu ftw!


3
Byłoby to szczególnie skuteczne, jeśli masz przyjaciół, którzy są na studiach. Nie tylko mają dostęp do ładnych, szybkich połączeń uniwersyteckich, ale nie byłoby im trudno poprosić kilku przyjaciół z różnych akademików o pomoc przy przesyłaniu.
Lèse majesté

7

Znajdź regionalnego usługodawcę internetowego, który jest lokalnie własnością, i przynieś ładny zewnętrzny dysk twardy, który może to wszystko pomieścić. Wejdź do ich biura z 300 USD w gotówce, danymi uwierzytelniającymi na serwerze i 12-paczką piwa. Módlcie się, aby mieli gigabitowe łącze w górę, ponieważ maksymalne 100mbit zajmie ci ponad 24 godziny.

Jeśli to się nie uda, poszukaj lokalnego internetowego punktu wymiany i znajdź AS, który jest z nim połączony. Zaprzyjaźnij się z kimś lokalnym z NANOG. Szanse są, musisz być kreatywny. Spróbuj wyszukać dowolną lokalizację w pobliżu.


2
To jest ścieżka, którą wybrałbym. Piwo ma tendencję do smarowania interakcji biznesowych.
Evik James

1
Myślę, że jest to prawdopodobnie najlepsze rozwiązanie ścieżki najmniejszego oporu tutaj.
jeremiahd,

5

Jeśli pliki są plikami tekstowymi lub w inny sposób cmpress, możesz je skompresować przed przesłaniem, co może zmniejszyć rozmiar pliku nawet o 90%. Następnie możesz je zdekompresować na serwerze.

Możesz także spróbować podzielić przesyłanie na wiele lokalizacji. Każdy z nich może dać ci maksymalną prędkość.


4

Uzyskaj tymczasową firmę hostingową, do której możesz wysłać swój dysk pocztą, a następnie przenieść ją z hosta tymczasowego do hosta stałego w szybszym tempie.


3
Lub po prostu przełącz się na hosting, który akceptuje dyski pocztą. Na to pozwala większość hostów internetowych z przyzwoitą obsługą klienta.
Lèse majesté

Zakładam, że obecna firma hostingowa została wybrana ze względu na cenę lub inne długoterminowe kryteria, a zmiana na stałe byłaby bardziej kosztowna.
xpda,


3

Chcę tylko dodać do istniejących odpowiedzi coś, co może poprawić transfer po podłączeniu dysku twardego do serwera o dobrej przepustowości.

Musiałem kilkakrotnie przesyłać duże ilości danych między dwoma serwerami internetowymi i zamiast zwykłych poleceń FTP lub WGET do przesyłania lub pobierania danych korzystałem z polecenia Linux SCP. Więcej informacji można znaleźć tutaj: http://www.go2linux.org/scp-linux-command-line-copy-files-over-ssh

Będziesz potrzebował dostępu SSH do obu serwerów, a następnie możesz skopiować jeden plik lub wiele plików rekurencyjnie.

Tak więc, jeśli masz tylko duże pliki zamiast wielu małych, myślę, że skopiuje się wystarczająco szybko.

Przy szybkości transferu 11 MB / sekundę między serwerami transfer trwałby około 25 godzin.

Powodzenia! ;)


1
Jeszcze lepiej, użyj rsync, jeśli host docelowy go obsługuje. (Wielu tak.)
Ilmari Karonen

3

http://aws.amazon.com/importexport/

Wyślij urządzenie do AWS, a oni zajmą się resztą.


„... a oni zajmą się resztą” - nie, nie zrobią tego, chyba że miejscem docelowym jest AWS. Jeśli tak nie jest, będą przesyłać dane tylko do segmentu S3. I to ty musisz zabrać go z łyżki S3 do miejsca docelowego, w którym to przypadku jest to to samo, co odpowiedź Xpdy.
Lèse majesté

2
Och, absolutnie, powinienem był skomentować tak jak Rich (nie było mnie, zanim opublikowałem) na InChargeOfIt. Ponieważ Hamlin11 szczególnie zainteresował się rozwiązaniem AWS i szukał linku do tej usługi, opublikowałem go. Zgadzam się, że komentarz tam byłby bardziej odpowiedni.
subiet

Cóż, myślę, że jeśli możesz edytować odpowiedź, aby powiązać się z tym komentarzem i zauważyć, że w przypadku miejsc docelowych innych niż AWS wystarczy zainicjować transfer między serwerami za pomocą bardzo grubej potoku Amazona, nadal będzie bądź dobrą odpowiedzią.
Lèse majesté

1

Jeśli dane są w twoim biurze przez powolne połączenie, jesteś w zalewie. Jeśli dane znajdują się na starym komputerze lub na nim, możesz spróbować przenieść serwer z serwera. Używanie rur ISP zamiast ciasnej rury biurowej.

Jeśli zrobiłbyś to w kawałkach za pomocą wget z ssh, byłoby to o wiele szybsze niż wysyłanie dysku do instalacji. To powiedziawszy, nigdy nie musiałem przenosić więcej niż 250 GB.


Pilna część pytania pochodziła z katastrofalnego zdarzenia przestoju na „starym hoście”. Nie mieliśmy hosta ciepłej kopii zapasowej, ale mieliśmy lokalne kopie zapasowe lokalnie.
Brian Webster,

0

Jak sugerują inne pytania, sprowadza się to głównie do znalezienia kogoś wokół ciebie z dobrym połączeniem.

Jedną grupą, z którą możesz porozmawiać, są administratorzy uniwersytetów lub uczelni. Upewnij się tylko, że facet, z którym rozmawiasz, jest upoważniony do przepuszczenia trochę TB przez ich przewód i jestem pewien, że możesz dojść do porozumienia.

Wiele wydziałów na uniwersytetach, np. Fizyka cząstek, publikuje wokół petabajtów danych, więc może to być kolejna możliwa opcja.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.