Duży stół
Rozproszony system przechowywania danych strukturalnych
Bigtable to rozproszony system pamięci masowej (zbudowany przez Google) do zarządzania danymi strukturalnymi, zaprojektowany do skalowania do bardzo dużego rozmiaru: petabajtów danych na tysiącach serwerów towarowych.
Wiele projektów w Google przechowuje dane w Bigtable, w tym indeksowanie stron internetowych, Google Earth i Google Finance. Aplikacje te nakładają na Bigtable bardzo różne wymagania, zarówno pod względem wielkości danych (od adresów URL, stron internetowych po zdjęcia satelitarne), jak i wymagań dotyczących opóźnień (od masowego przetwarzania zaplecza do udostępniania danych w czasie rzeczywistym).
Pomimo tych zróżnicowanych wymagań, Bigtable z powodzeniem dostarczył elastyczne, wysokowydajne rozwiązanie dla wszystkich tych produktów Google.
Niektóre funkcje
- szybki i wyjątkowo duży system DBMS
- rzadka, rozproszona wielowymiarowa posortowana mapa, dzieląca cechy baz danych zarówno zorientowanych na wiersze, jak i na kolumny.
- zaprojektowane do skalowania do zakresu petabajtów
- działa na setkach lub tysiącach maszyn
- łatwo jest dodać więcej komputerów do systemu i automatycznie zacząć korzystać z tych zasobów bez konieczności ponownej konfiguracji
- każda tabela ma wiele wymiarów (z których jeden jest polem czasu, umożliwiającym wersjonowanie)
- tabele są zoptymalizowane pod kątem systemu plików GFS (Google File System), ponieważ są podzielone na wiele tabletów - segmenty tabeli są podzielone wzdłuż wybranego wiersza, tak aby rozmiar tabletu wynosił ~ 200 megabajtów.
Architektura
BigTable nie jest relacyjną bazą danych. Nie obsługuje złączeń ani nie obsługuje bogatych zapytań podobnych do SQL. Każda tabela jest wielowymiarową rzadką mapą. Tabele składają się z wierszy i kolumn, a każda komórka ma znacznik czasu. Może istnieć wiele wersji komórki z różnymi znacznikami czasu. Znacznik czasu pozwala na takie operacje, jak „wybieranie wersji n tej strony” lub „usuwanie komórek starszych niż określona data / godzina”.
Aby zarządzać ogromnymi tabelami, Bigtable dzieli tabele na granicach wierszy i zapisuje je jako tablety. Tablet ma około 200 MB, a każde urządzenie zapisuje około 100 tabletek. Ta konfiguracja umożliwia rozłożenie tabletów z jednego stołu na wiele serwerów. Pozwala także na precyzyjne równoważenie obciążenia. Jeśli jeden stół odbiera wiele zapytań, może zrzucić inne tablety lub przenieść zajęty stół na inny komputer, który nie jest tak zajęty. Ponadto w przypadku awarii komputera tablet może zostać rozłożony na wiele innych serwerów, dzięki czemu wpływ na wydajność danego komputera jest minimalny.
Tabele są przechowywane jako niezmienne tabele SST i ogon dzienników (jeden dziennik na maszynę). Gdy w urządzeniu zabraknie pamięci systemowej, kompresuje niektóre tablety przy użyciu zastrzeżonych przez Google technik kompresji (BMDiff i Zippy). Niewielkie zagęszczenia obejmują tylko kilka tabletów, a główne zagęszczania dotyczą całego systemu tabel i odzyskiwania miejsca na dysku twardym.
Lokalizacje tabletów Bigtable są przechowywane w komórkach. Wyszukiwanie każdego konkretnego tabletu jest obsługiwane przez trójwarstwowy system. Klienci otrzymują punkt do tabeli META0, której jest tylko jedna. Tabela META0 śledzi wiele tabletów META1, które zawierają lokalizacje badanych tabletów. Zarówno META0, jak i META1 intensywnie korzystają z pobierania wstępnego i buforowania, aby zminimalizować wąskie gardła w systemie.
Realizacja
BigTable jest oparty na systemie plików Google (GFS), który jest używany jako magazyn kopii zapasowych plików dziennika i danych. GFS zapewnia niezawodne miejsce do przechowywania SSTables, zastrzeżonego przez Google formatu plików służącego do przechowywania danych w tabeli.
Inną usługą, z której korzysta BigTable, jest Chubby , wysoce dostępna, niezawodna usługa rozproszonej blokady. Chubby pozwala klientom na blokadę, prawdopodobnie kojarząc ją z niektórymi metadanymi, które może odnowić, wysyłając z powrotem wiadomości Chubby. Blokady są przechowywane w hierarchicznej strukturze nazewnictwa podobnej do systemu plików.
W systemie Bigtable istnieją trzy podstawowe typy serwerów :
- Serwery główne: przypisuj tablety do serwerów tabletów, śledź lokalizację tabletów i w razie potrzeby redystrybuuj zadania.
- Serwery tabletów: obsługują żądania odczytu / zapisu dla tabletów i tabletów podzielonych, gdy przekroczą limit rozmiaru (zwykle 100 MB - 200 MB). Jeśli serwer tabletu ulegnie awarii, wówczas 100 serwerów tabletu odbierze 1 nowy tablet i system zostanie przywrócony.
- Zablokuj serwery: instancje rozproszonej usługi blokady Chubby. Wiele działań w BigTable wymaga nabywania blokad, w tym otwierania tabletów do pisania, upewnienia się, że nie jest więcej niż jeden aktywny Master na raz, oraz sprawdzania kontroli dostępu.
Przykład z artykułu badawczego Google:
Fragment przykładowej tabeli przechowującej strony internetowe. Nazwa wiersza to
odwrócony adres URL . Rodzina kolumn zawartości zawiera zawartość strony , a rodzina kolumn kotwicy zawiera
tekst wszystkich kotwic, które odwołują się do strony. Strona główna CNN jest przywoływana zarówno przez stronę główną Sports Illustrated, jak i MY-look, więc wiersz zawiera kolumny o nazwach
anchor:cnnsi.comi
anchor:my.look.ca. Każda komórka kotwicząca ma jedną wersję ; kolumna zawartość ma trzy wersje , na znaczniki czasu
t3, t5i t6.
API
Typowe operacje na BigTable to tworzenie i usuwanie tabel i rodzin kolumn, zapisywanie danych i usuwanie kolumn z wiersza. BigTable udostępnia te funkcje programistom aplikacji w interfejsie API. Transakcje są obsługiwane na poziomie wiersza, ale nie dla kilku kluczy wierszy.
Oto link do pliku PDF pracy badawczej .
I tutaj możesz znaleźć wideo przedstawiające Jeffa Deana z Google'a podczas wykładu na Uniwersytecie Waszyngtońskim , omawiającego system przechowywania treści Bigtable używany w backendie Google.
