W jaki sposób usługi o dużej szybkości przetwarzania instalują wystarczająco dużo dysków twardych?

Amazon, Facebook i Google muszą przyjmować TB, jeśli nie PB dziennie, więc oznacza to, że ludzie stale instalują nowe dyski twarde i kable w nowych szafach w taki sam sposób, w jaki można zbudować zwykły serwer, lub czy zastosowano inną technologię do masowego podłączania napędów?

Nie wiem, czy którykolwiek z nich instaluje sprzęt jeden serwer na raz. W 2008 r. MS zaczęło budować swoje centra danych, dostarczając serwery w zaplombowanych i wstępnie okablowanych kontenerach wysyłkowych serwerów, które wystarczyło rozładować z ciężarówki i podłączyć zasilanie / połączenia sieciowe. Podczas gdy wersja 08 była mieszanką pojemników i tradycyjnych dla ich najnowszego centrum danych , od tego czasu opracowano niestandardowy projekt prefabrykatów, który jest odporny na warunki pogodowe i nie musi być umieszczony w oddzielnych budynkach.

Zarówno HP, jak i IBM sprzedają podobne pakiety z wstępnie zbudowanymi kontenerami pełnymi serwerów, które wymagają jedynie zasilania / połączenia danych do wdrożenia.

Google ma kilka technologii, które opracowali wewnętrznie, aby przechowywać te ogromne ilości danych. Korzystając z tych technologii, mogą dodawać do swojego klastra mnóstwo ciężarówek z dyskami twardymi, bez przestojów, ale tak, nadal potrzebują ludzi, którzy to robią.

O ile wiem z Google Blog, dwie główne części to Google File System, który jest rozproszonym systemem plików, który można skalować do naprawdę dużej skali: Google File System

Poza systemem plików Google mają Big Table, który jest pewnego rodzaju bazą danych Key Value, a także skaluje się do ogromnych skal: Big Table

Aby zagwarantować wysoką dostępność, wszystko jest zbędne wiele razy, w większości przypadków ponad 3 razy.

To jest dokładnie poprawne. Pamiętam, że kiedyś centra danych Facebooka dodawały średnio trzy ciągniki-przyczepy pełne dysków twardych i serwerów montowanych w szafach. Oczywiście mają skomplikowane schematy, dzięki którym pamięć jest skalowalna i nadmiarowa. Na przykład Google ma GFS . Facebook ma trzy centra danych tylko dla swoich urządzeń, każde większe niż dwa Wal-Marts i nowe planowane cztery razy większe niż ich istniejące centra.

Dzięki rozwiązaniom pamięci masowej Open Compute nowej generacji, które mieszczą 180 TB dysku w 4 szafach rack, PB nie jest tak naprawdę dużą przestrzenią: dodanie 1PB dziennie oznaczałoby przechowywanie 5 takich serwerów dziennie, co nie jest dużym problemem. Co więcej, można je otrzymać za około 10 000 USD, co oznacza, że ​​płacisz mniej niż 60 USD za TB.

Tak, technologia jest dostępna dla nas wszystkich, aby zrobić to samo, za cenę, która nie rozbije banku.

Trzeba jednak pamiętać, że większe firmy zawsze otrzymują lepszą ofertę i podpisują duże kontrakty, aby uzyskać ogromne ilości przestrzeni dyskowej. Mogą dostawać małe przesyłki w ciągu roku, ale to nie tak, że zamawiają tylko 1PB na raz.

Oto ciekawy post na blogu od BackBlaze o tym, jak to robią (prawdopodobnie nie potrzebują tyle dysków jak Google czy Facebook, ale cały cały) i co musieli zrobić, gdy w Tajlandii wystąpiły powodzie, które spowodowały twardy dysk drogi i trudniejszy do zdobycia:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/