YouTube, jak wiemy, jest ogromny. Ma tysiące jednoczesnych użytkowników przesyłających strumieniowo co najmniej 2 megabajty na film. Oczywiście musi to być duży ruch ... zdecydowanie za duży dla jednego serwera.
Jakie technologie sieciowe pozwalają na przesyłanie 4 miliardów filmów dziennie?
Odpowiedzi:
W bardzo prostej konfiguracji jeden wpis DNS przechodzi na jeden adres IP, który należy do jednego serwera. Wszyscy na całym świecie korzystają z tej jednej maszyny. Przy wystarczającym ruchu jest to zbyt wiele, aby poradzić sobie na długo, zanim osiągniesz rozmiar YouTube. W prostym scenariuszu dodajemy moduł równoważenia obciążenia. Zadaniem modułu równoważenia obciążenia jest przekierowywanie ruchu na różne serwery zaplecza, jednocześnie występując jako jeden serwer.
Przy takiej ilości danych, jaką ma YouTube, byłoby zbyt wiele, aby oczekiwać, że wszystkie serwery będą mogły obsługiwać wszystkie filmy, więc mamy kolejną warstwę pośrednictwa, którą można dodać: sharding . W wymyślonym przykładzie jeden serwer jest odpowiedzialny za wszystko, co zaczyna się od „A”, inny jest właścicielem „B” i tak dalej.
Jednak ostatecznie przepustowość staje się bardzo intensywna i przenosisz DUŻO danych do jednego pokoju. Teraz, gdy jesteśmy bardzo popularni, przenosimy go z tego pokoju. Dwie ważne tutaj technologie to sieci dystrybucji treści i Anycasting .
Tam, gdzie na całym świecie żądane są te duże pliki statyczne, przestaję wskazywać bezpośrednie linki do moich serwerów hostingowych. Zamiast tego umieszczam link do mojego serwera CDN. Gdy ktoś prosi o obejrzenie filmu, pyta o to mój serwer CDN. CDN jest odpowiedzialny za posiadanie filmu, proszenie o kopię z serwera hostingowego lub przekierowanie mnie. Różni się to w zależności od architektury sieci.
W jaki sposób CDN jest pomocny? Cóż, jeden adres IP może faktycznie należeć do wielu serwerów, które są w wielu miejscach na całym świecie. Gdy Twoje żądanie opuszcza Twój komputer i trafia do Twojego dostawcy usług internetowych, jego router mapuje najlepszą ścieżkę (najkrótszą, najszybszą, najmniejszą kosztem ... niezależnie od metryki) do tego adresu IP. Często w przypadku sieci CDN, która będzie znajdować się w Twojej najbliższej sieci poziomu 1 lub obok niej .
Poprosiłem więc o film z YouTube. Rzeczywista maszyna, na której była przechowywana, to przynajmniej iad09s12.v12.lscache8.c.youtube.comi tc.v19.cache5.c.youtube.com. Te pojawiają się w źródle mojej strony, na którą patrzę i zostały dostarczone przez jakąś formę serwera indeksującego. Teraz z Maine odkryłem, że serwer tc19 jest w Miama na Florydzie. Z Waszyngtonu znalazłem serwer tc19 w San Jose w Kalifornii.
W przypadku dużych witryn stosuje się kilka technik.
www.youtube.com -> dowolna liczba adresów IPSpójrzmy na DNS:
www.youtube.com is an alias for youtube-ui.l.google.com.
youtube-ui.l.google.com has address 74.125.226.14
youtube-ui.l.google.com has address 74.125.226.0
youtube-ui.l.google.com has address 74.125.226.1
youtube-ui.l.google.com has address 74.125.226.2
youtube-ui.l.google.com has address 74.125.226.3
youtube-ui.l.google.com has address 74.125.226.4
youtube-ui.l.google.com has address 74.125.226.5
youtube-ui.l.google.com has address 74.125.226.6
youtube-ui.l.google.com has address 74.125.226.7
youtube-ui.l.google.com has address 74.125.226.8
youtube-ui.l.google.com has address 74.125.226.9
youtube-ui.l.google.com has IPv6 address 2001:4860:800f::88
Więc www.youtube.com może faktycznie przejść na kilka adresów IP.
Pojedynczy adres IP może być obsługiwany jednocześnie przez dowolną liczbę systemów autonomicznych (sieć w Internecie). Na przykład wiele głównych serwerów DNS, a także 8.8.8.8serwer DNS Google, są anycastowane w wielu punktach na całym świecie. Chodzi o to, że jeśli jesteś w USA, trafiasz do sieci w USA, a jeśli jesteś w Wielkiej Brytanii, trafiasz do sieci w Wielkiej Brytanii.
To, że jesteś włączony www.youtube.com, nie oznacza, że cała zawartość musi pochodzić z tego samego serwera. Bezpośrednio na tej stronie zasoby statyczne są podawane sstatic.netzamiast serverfault.com.
Na przykład, jeśli oglądamy PSA Slave Leia Kaley Cuoco, stwierdzamy, że media są obsługiwane v10.lscache5.c.youtube.com.
Zapewniam cię, że YouTube ma więcej niż jedno połączenie internetowe. Niezależnie od wszystkich innych technik, nawet jeśli Youtube rzeczywiście był jedną witryną i jednym serwerem, teoretycznie mógłby mieć połączenia z każdą inną siecią, do której obsługiwał wideo. W prawdziwym świecie nie jest to oczywiście możliwe, ale pomyśl o tym.
Dowolny lub wszystkie z tych pomysłów (i nie tylko!) Można wykorzystać do obsługi sieci dostarczania treści . Przeczytaj ten artykuł, jeśli chcesz dowiedzieć się więcej.
Mylisz się, wyobrażając sobie, że YouTube (alias Google) ma tylko jeden serwer; ta informacja może pomóc zilustrować skalę systemu, który wspiera tę usługę.
Nawet jeśli masz tylko jeden punkt obecności, możesz absolutnie mieć więcej niż jeden serwer za jedną nazwą, a nawet adres IP, używając narzędzi takich jak usługi równoważenia obciążenia i inne.
Google ma jednak bardzo dużo punktów obecności i korzysta z narzędzi takich jak AnyCast - technika publikowania tego samego adresu IP w wielu miejscach w Internecie i zachęcania ludzi do routingu do najbliższej puli serwerów, która jest jego właścicielem - w celu zabezpieczenia infrastruktury.
Poruszę trochę po stronie sieci: Google ma Point of Presence (PoP) w 73 unikalnych centrach danych na całym świecie (nie wliczając ich własnego). Są członkami 69 unikalnych giełd internetowych . Google znajduje się w większej liczbie centrów danych i punktów wymiany internetowej niż w innych sieciach wymienionych na peeringdb.
Całkowita pojemność wymiany internetowej Google wynosi> 1,5 TB / s, a 1,5 TB / s jest zarezerwowane dla sieci o ruchu> 100 Mb / s z Google, ale mniej niż przypuszczam około 2-3 Gb / s. Po uzyskaniu „wystarczającej objętości” zostaniesz przeniesiony do prywatnej komunikacji równorzędnej (PNI).
Oprócz komunikacji równorzędnej z programem Exchange i prywatnej komunikacji równorzędnej (z AS15169), YouTube prowadzi również sieć tranzytową: AS43515, a inna sieć, która, jak zakładam, dotyczy płatnej komunikacji równorzędnej / przepełnienia, AS36040. Google obsługuje również serwery Google Global Cache , aby dostawcy usług internetowych mogli wdrażać jeszcze więcej lokalnie w swojej sieci. (Dane z peeringdb, bgp.he.net).
Na podstawie moich doświadczeń uważam, że YouTube używa znacznie więcej niż tylko geolokalizacji IP lub Anycast, aby wybrać lokalizację, z której będą wyświetlane filmy.
Google prowadzi ogromną globalną sieć szkieletową, mają ciemne włókna , sfinansowali kable podwodne . Wielkość ruchu generowanego przez YouTube jest ogromna! Domyślam się, że YouTube ma szczytowy ruch> 12 TB / s. Google reprezentuje co najmniej 7% (i prawdopodobnie> 10%) całego ruchu internetowego między domenami.
Aby odpowiedzieć na twoje pytanie, z perspektywy sieci, aby skalować się jak YouTube, musisz dokonać ogromnej inwestycji w swoją sieć - od światłowodu w ziemi po sprzęt WDM i routery. Musisz uzyskać dostęp do treści i sieci jak najbliżej użytkowników. Zwykle oznacza to peering, IXs, a może trochę tranzytu. Musisz być w stanie inteligentnie powiedzieć użytkownikom, skąd wziąć zawartość, aby utrzymać ruch równomiernie rozłożony i tani. I oczywiście musisz mieć ogromną infrastrukturę serwerów, aby przechowywać, przetwarzać, konwertować i dostarczać 4 miliardy wyświetleń dziennie!
Jeśli ciekawi Cię strona serwera, napisałem post na blogu, w którym opisuję niektóre z ostatnio wydanych obrazów centrum danych.
Jeśli chcesz dowiedzieć się więcej o systemach na dużą skalę i technologiach wykorzystywanych przez te firmy, najlepszym źródłem jest teraz http://highscalability.com
Największe firmy takie jak Google czy Akamai zawsze mają komponenty, które same napisały / stworzyły. (na przykład Akamai opracował serwer WWW dla swoich usług)