Czy jest tam rozproszony system SAN / Storage? [Zamknięte]


9

Podobnie jak wiele innych miejsc, prosimy naszych użytkowników, aby nie zapisywali plików na swoich lokalnych komputerach. Zamiast tego zachęcamy do umieszczenia ich na serwerze plików, aby inni (z odpowiednimi uprawnieniami) mogli z nich korzystać i aby kopie zapasowe plików były prawidłowe.

Powoduje to, że większość użytkowników ma duże dyski twarde, które siedzą głównie puste. Jest rok 2010. Z pewnością istnieje system, który pozwala zamienić tę pustą przestrzeń w wirtualną sieć SAN lub bibliotekę dokumentów?

To, co wyobrażam sobie, to program kliencki wypychany na komputery użytkowników, który współpracuje z serwerem centralnym. Serwer wygląda dla użytkowników jak zwykły serwer plików, ale zamiast przechowywać całą zawartość pliku, po prostu przechowuje zapis, gdzie te pliki można znaleźć na różnych komputerach użytkowników. Następnie koordynuje współpracę z odpowiednimi klientami w celu obsługi żądań plików. Oprogramowanie klienckie byłoby w stanie bezpośrednio odpowiadać na takie żądania, a także być wystarczająco inteligentne, aby buforować najnowsze pliki lokalnie. W celu zapewnienia redundancji serwer może upewnić się, że pliki są kopiowane na wiele komputerów, być może umożliwiając zdefiniowanie grup w różnych lokalizacjach, tak aby instancja całego repozytorium żyła w każdej grupie w celu ochrony przed katastrofą w jednym budynku, niszcząc wszystko inne.

Oczywiście nie wskazałbyś tutaj serwera bazy danych, ale dla uproszczenia widzę kilka zalet:

  • Pliki można często przesyłać z bliższej (lub lokalnej ) maszyny.
  • Dystrybucja połączeń sieciowych zamiast zatłoczenia wszystkich transferów plików na jednym połączeniu
  • Miejsce na dysku rośnie automatycznie, podobnie jak Twoja firma.
  • Ostatecznie powinno być tańsze, ponieważ nie trzeba przechowywać osobnego zestawu dysków

Widzę też kilka wad:

  • Sporadyczne pogorszenie wydajności komputera użytkownika, jeśli urządzenie musi obsłużyć lub zaakceptować przesyłanie dużych plików w okresie zajętości.
  • Zapisy muszą być propagowane kilka razy w sieci (chociaż podejrzewam, że nie jest to tak naprawdę problemem, ponieważ czytanie odbywa się w większości miejsc więcej niż pisanie)
  • Nadal potrzebuję sposobu, aby od czasu do czasu wysłać pełną kopię danych poza siedzibą, co bardzo utrudniłoby różnicowanie

Pomyśl o tym jak o systemie pamięci masowej w chmurze, który w całości znajduje się w Twojej korporacyjnej sieci LAN i wykorzystuje istniejący sprzęt użytkownika.

Nasz stary główny serwer plików ma wycofać się za około 2 lata i zamierzam go zastąpić małym SAN. Nasz obecny serwer plików używa około 400 GB udziału 1 TB. Utrzymywaliśmy to tak małe, ponieważ nasze miejsce na kopie zapasowe było ograniczone. Zastanawiam się, aby po wymianie zwiększyć ją do co najmniej 4 TB powierzchni użytkowej , a może znacznie więcej, jeśli ceny spadną tak, jak się spodziewam. Myślę, że coś takiego lepiej by pasowało. Jako szkoła mamy kilka laboratoriów komputerowych, w których mogę zostawić działające, które byłyby idealne, aby dodać trochę dodatkowej redundancji do takiego systemu.

Z nielicznymi wyjątkami, nasi użytkownicy zapełniają mniej niż 40 GB swoich 120 GB dysków twardych, co oznacza, że ​​mogę z łatwością zarezerwować 65 GB na maszynę. A to tylko wzrośnie, ponieważ nowe maszyny będą wyposażone w dyski 250 Gb, a nawet te mogą być wkrótce większe. Do czasu wymiany serwera plików, biorąc pod uwagę nasz harmonogram wymiany pulpitu, spodziewałbym się, że taki system pozwoli na wykorzystanie 5 TB użytecznej pamięci, nawet pozwalając na redundancję i historię.

Niestety najbliższą rzeczą, jaką mogę znaleźć, jest Dienst , a jest to po prostu artykuł z 1994 roku. Czy po prostu używam niewłaściwych modnych słów podczas wyszukiwania, czy to naprawdę nie istnieje? Jeśli nie, to czy brakuje mi dużej wady?


1
Zamiast kupować duże napędy magnetyczne, powinieneś rozważyć mniejsze napędy półprzewodnikowe zamiast systemów końcowych.
jftuga

Możesz zajrzeć do CCNx opracowanego przez zespół wokół van Jacobsona w PARC. Powiązane: projekt SWIFT
the-wabbit

Odpowiedzi:


3

Wydaje mi się, że opisujesz AFS , którego najczęstszą implementacją jest OpenAFS . Kluczowe pojęcia OpenAFS opisano tutaj: http://docs.openafs.org/UserGuide/ch01.html#HDRWQ3 .

AFS to:

  • Rozpowszechniane. System plików na wielu komputerach, ale nadal korzysta ze zunifikowanej przestrzeni nazw, dzięki czemu rozproszony charakter jest przezroczysty dla komputera klienta.
  • Zbędny. Pliki mogą istnieć w wielu węzłach serwera jednocześnie, więc utrata kilku węzłów serwera nie powoduje niedostępności żadnych danych.
  • Skalowalny Najwyraźniej niektóre implementacje „Enterprise” obejmują aż 25 000 węzłów.

+1 prawdopodobnie nie pasuje do jego specyfikacji.
Warner

Czego brakuje? Myślałem, że będzie idealnie pasował. Lub co najmniej 90% dopasowania.
Insyte

Cóż, fakt, że uruchamianie serwera AFS w systemie Windows nie jest obsługiwane, może mieć z tym coś wspólnego. docs.openafs.org/ReleaseNotesWindows/ch03s11.html
mfinni

Huh To nie pasuje do tego, co tu mówią: openafs.org/windows.html .
Insyte

1
to dotyczy oprogramowania klienckiego . Chcesz, aby okno systemu Windows łączyło się z istniejącym udziałem AFS? Idź po to. Chcesz udostępnić udział AFS w systemie Windows? Nieobsługiwany.
mfinni

2

Tak, duże dyski w systemach komputerowych użytkowników końcowych są tragicznie nieużywane, gdy właściwie używasz scentralizowanej pamięci. No cóż. Niektóre wady korzystania z hipotetycznego serwera NAS rozproszonego w sieci stacjonarnej:

  1. Musiałby on poradzić sobie z degradacją spowodowaną przez maszyny użytkowników, które są odłączane od sieci. Ktoś dzisiaj nie wszedł i ich maszyna jest wyłączona? Lepiej mieć nadzieję, że znajdujące się tam dokumenty zostaną rozpowszechnione na włączonych komputerach. Ktoś pracuje dziś do późna, a ich maszyna jest jedyną, która jest włączona? Niestety, pech. Chyba że masz również wszystko skopiowane do prawdziwego serwera plików - a co wtedy zyskałeś?

  2. Wszystko musiałoby mieć dobre szyfrowanie - w przeciwnym razie dokumenty szefa, które zawierają jego plan wypłaty lub dokument HR pokazujący pensję wszystkich osób, są replikowane na maszynę urzędnika pocztowego Jimmy'ego. Na którym prowadzi LimeWire. Widzisz dokąd to zmierza?


3
Ponadto: ich wydajność jest do bani, sieć nie osiągnie maksymalnej prędkości, sieć SAN przestaje działać w godzinach wieczornych, co jest do bani dla prac konserwacyjnych. Pozbądź się raczej dysków i uruchom SAN;)
TomTom

1

Coś w rodzaju CleverSafe (zarówno w wersji open source, jak i komercyjnej) może w większości robić to, co chcesz, ale zarządzanie bardzo zawodnymi węzłami może stanowić problem. CleverSafe radzi sobie z wieloma awariami węzłów, ale być może nie wystarczająco szybko, by uzyskać rodzaj „ciągłej rezygnacji” z węzłów, które można zobaczyć przy użyciu komputerów stacjonarnych jako węzłów pamięci.

Myślę, że istnieją podobne rozwiązania z artykułów naukowych, które czytałem w przeszłości, ale CleverSafe wydaje się być naprawdę działającym produktem, a nie tylko prototypem. Firma istnieje od 2004 roku.


1

Oprogramowanie do wirtualizacji pamięci masowej SANsymphony 7.0

poniżej wszystkie cytowane z ich strony internetowej:

Główne cechy

Niezależne od urządzenia wirtualne buforowanie dysków, synchroniczne tworzenie kopii lustrzanych (HA), szybkie buforowanie, asynchroniczna zdalna replikacja, cienkie przydzielanie, automatyczne warstwowanie, migawki online, niezakłócająca migracja dysku, ciągła ochrona danych (CDP)

Typ dostępu

Zablokuj we / wy dysku za pośrednictwem fizycznej lub wirtualnej sieci SAN. Dostęp do systemu plików zapewnia protokół NFS / CIFS z podstawowego systemu operacyjnego Windows Server. Dwie metody dostępu mogą być łączone w celu spełnienia wymagań wysokiej dostępności, zunifikowanej pamięci masowej (SAN / NAS).

Obsługiwane środowiska hosta

Systemy komputerowe z zainstalowanymi standardowymi systemami operacyjnymi Windows, w tym (Windows Server 2000, 2003, 2008, Hyper-V, Windows XP, Windows 7), UNIX, HP-UX, Sun Solaris, IBM AIX, RedHat Linus, Suse Linux, Apple MacOs, VMware ESX / vSphere, Citrix XenServer,

Obsługiwane dyski (back-end)

Wszelkie dyski wewnętrzne, dyski zewnętrzne, macierze dysków zewnętrznych, JBOD, dyski SSD i inteligentny system pamięci obsługiwany w systemie Windows Server 2008 mogą być podłączone do węzłów DataCore. Mogą być podłączone bezpośrednio lub SAN.


Właśnie o to ci chodzi, tak?


Nie dokładnie. To oprogramowanie wciąż przejmuje każdą maszynę - musisz mieć maszyny w 100% przeznaczone do przechowywania. Chciałbym zobaczyć coś, co działa w tle na komputerach PC, które nadal są wdrażane z użytkownikami końcowymi i wykorzystują zapasowy dysk, który już tam jest.
Joel Coel,

Ponownie czytając abstrakcję pamięci / metadanych, widziałem to niedawno, ale może to być dopasowanie koncepcyjne, a nie praktyczne: xtreemfs.org/feature_replication.php
Mark Lawrence

Oczywiście drugą rzeczą, na którą warto zwrócić uwagę, jeśli jeszcze tego nie zrobiłeś, jest Windows DFS-R. W ten sposób konfigurujesz przestrzeń nazw folderów, do której dostęp i replikacja odbywa się w sposób przezroczysty poprzez replikację AD. Foldery przestrzeni nazw mają cele na udziałach fizycznych i można je replikować przy użyciu wybranej topologii (np. Hub and speak lub free-for-all). Uh, och, jest haczyk, myślę, że celem musi być serwer Windows.
Mark Lawrence

0

Najbliższą rzeczą, jaka przychodzi mi na myśl, jest Googles MapReduce lub darmowa alternatywa Hadoop, ale ma to na celu skalowanie do obszaru petabajtów dla naprawdę dużych aplikacji internetowych.

Ogólnie rzecz biorąc, twój scenariusz nie jest czymś, co naprawdę chciałbym wypróbować, ponieważ sądzę, że koszty administracyjne związane z zarządzaniem maszynami dla tej dodanej usługi znacznie przewyższą wszelkie korzyści, jakie możesz z tego uzyskać.

Widzę też pewne ryzyko, że w systemie Windows (lub innym systemie operacyjnym) mogą wystąpić nieodkryte problemy, które mogą prowadzić do podatności na szybko rozprzestrzeniającego się robaka, który może zabić całą sieć w ciągu kilku minut, niezależnie od tego, w jaki sposób dobre i bezpieczne, twoje systemy są skonfigurowane i które zabiorą ze sobą wszystkie twoje pule pamięci.

Poza tym nie jestem do końca pewien, czy wolne miejsca na dyskach w systemach klienckich będą nadal rosły, ponieważ sądzę, że w przyszłości do Internetu zostanie przeniesionych wiele innych aplikacji, w tym aplikacje biurowe, a nawet Photoshop, co doprowadzi do duży nacisk na cienkich klientów (ponownie).

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.