Serwer plików - Konfiguracja pamięci: RAID vs LVM vs ZFS coś jeszcze…?

Jesteśmy małą firmą, która zajmuje się między innymi edycją wideo i potrzebuje miejsca do przechowywania kopii zapasowych dużych plików multimedialnych i ułatwiania ich udostępniania.

Mam zestaw skonfigurowany z Ubuntu Server i dyskami 4 x 500 GB. Są one obecnie skonfigurowane z Sambą jako cztery foldery współdzielone, które dobrze widzą stacje robocze Mac / Windows, ale chcę lepszego rozwiązania. Istnieją dwa główne powody:

1. 500 GB nie jest wystarczająco duże (niektóre projekty są większe)
2. Zarządzanie bieżącą konfiguracją jest uciążliwe, ponieważ poszczególne dyski twarde mają różną ilość wolnego miejsca i zduplikowane dane (do tworzenia kopii zapasowych). Jest to teraz mylące, a sytuacja pogorszy się tylko wtedy, gdy będzie wiele serwerów. („projekt jest na serwerze share2 w share4” itp.)

Potrzebuję więc sposobu łączenia dysków twardych w taki sposób, aby uniknąć całkowitej utraty danych przy awarii jednego dysku, aby użytkownicy widzieli tylko jeden udział na każdym serwerze. Zrobiłem oprogramowanie RAID5 dla Linuksa i miałem z nim złe doświadczenia, ale spróbuję ponownie. LVM wygląda dobrze, ale wygląda na to, że nikt go nie używa. ZFS wydaje się interesujący, ale jest stosunkowo „nowy”.

Jaki jest najbardziej wydajny i najmniej ryzykowny sposób łączenia dysków twardych, który jest wygodny dla moich użytkowników?

Edycja: Celem jest tutaj stworzenie serwerów, które zawierają dowolną liczbę dysków twardych, ale ograniczają złożoność z perspektywy użytkownika końcowego. (tzn. widzą jeden „folder” na serwer) Tworzenie kopii zapasowych danych nie jest tutaj problemem, ale to, jak każde rozwiązanie reaguje na awarię sprzętu, jest poważnym problemem. Właśnie dlatego łączę RAID, LVM, ZFS i kto-wie-co-razem.

Moje wcześniejsze doświadczenia z RAID5 dotyczyły również serwera Ubuntu Server i pojawił się trudny i mało prawdopodobny zestaw okoliczności, które doprowadziły do ​​całkowitej utraty danych. Mogę uniknąć , że ponownie, ale pozostało z poczuciem, że byłem dodając niepotrzebnego dodatkowego punktu awarii w systemie.

Nie korzystałem z RAID10, ale pracujemy na sprzęcie towarowym, a większość napędów danych na skrzynkę jest w zasadzie ustalona na 6. Mamy wiele napędów 500 GB, a 1,5 TB jest dość małe. (Wciąż jednak opcja dla co najmniej jednego serwera)

Nie mam doświadczenia z LVM i przeczytałem sprzeczne raporty na temat tego, jak radzi sobie z awarią dysku. Jeśli konfiguracja LVM (bez pasków) mogłaby obsłużyć awarię pojedynczego dysku i tylko stracić którykolwiek plik miał część zapisaną na tym dysku (i zapisał większość plików tylko na jednym dysku), moglibyśmy nawet z tym żyć.

Ale dopóki muszę się nauczyć czegoś zupełnie nowego, równie dobrze mogę przejść do ZFS. Jednak w przeciwieństwie do LVM musiałbym również zmienić swój system operacyjny (?), Aby zwiększyć odległość między tym, gdzie jestem, a tym, gdzie chcę być. Użyłem wersji solaris na uniwersytecie i nie miałbym nic przeciwko temu.

Z drugiej strony, jeśli chodzi o spektrum IT, myślę, że mogę również zbadać FreeNAS i / lub Openfiler, ale to tak naprawdę nie rozwiązuje problemu, jak łączyć dyski.

LVM jest właściwie dość intensywnie wykorzystywany. Zasadniczo LVM znajduje się powyżej warstwy sprzętowej (sterownika). Nie dodaje żadnej redundancji ani zwiększonej niezawodności (do obsługi niezawodności wykorzystuje bazowy system pamięci). Zamiast tego zapewnia wiele dodatkowej elastyczności i dodatkowych funkcji. LVM nigdy nie powinien widzieć znikania lub awarii dysku, ponieważ awaria dysku powinna być obsługiwana przez RAID (oprogramowanie lub sprzęt). Jeśli zgubisz dysk i nie możesz kontynuować działania (odbuduj RAID itp.), Powinieneś przejść do tworzenia kopii zapasowych. Próba odzyskania danych z niekompletnej tablicy nigdy nie powinna być potrzebna (jeśli tak, należy ponownie ocenić cały projekt).

LVM oferuje między innymi możliwość łatwego powiększania i zmniejszania partycji / systemów plików, zdolność do dynamicznego przydzielania nowych partycji, możliwość tworzenia migawek istniejących partycji i montowania migawek jako partycji tylko do odczytu lub zapisywalnych. Migawki mogą być niezwykle przydatne, szczególnie w przypadku kopii zapasowych.

Osobiście używam LVM dla każdej partycji (oprócz / boot) na każdym budowanym przeze mnie pudełku i robię to przez ostatnie 4 lata. Radzenie sobie z pudełkami innymi niż LVM jest ogromnym problemem, gdy chcesz dodać lub zmodyfikować układ dysku. Jeśli używasz Linuksa, zdecydowanie chcesz użyć LVM. [Uwaga: Powyższe informacje na temat LVM zostały zaktualizowane, aby lepiej wyjaśnić, co to jest i jak pasuje do równania pamięci.]

Jeśli chodzi o RAID, nie robię serwerów bez raidu. Przy tak niskich cenach dysków, wybrałbym RAID1 lub RAID10. Szybciej, prościej i znacznie solidniej.

Szczerze mówiąc, chyba że jesteś związany z Ubuntu (co normalnie poleciłbym) lub jeśli pudełko wykonuje inne zadania, możesz zajrzeć do OpenFiler . Zmienia Twoje urządzenie w urządzenie pamięci masowej z interfejsem internetowym i obsłuży wszystkie RAID / LVM / itp., A także pozwoli Ci wyeksportować pamięć jako SMB, NFS, iSCSI itp. Szybka konfiguracja.

ZFS jest naprawdę niezawodny i na pewno znacznie ułatwia zarządzanie pamięcią masową. Jako bonus: smb jest zintegrowany z ZFS w OpenSolaris i bardzo dobrze obsługuje Raid. Poczekaj kilka dni, pobierz wcześniej wydaną wersję 2009.6 i wypróbuj ją na maszynie testowej. Jestem pewien, że pokochasz ZFS.

I o twoim komentarzu ZFS jest nowy: już nie bardzo nowy!

Najważniejsze pytanie brzmi: „Jak ważne są te dane?”

Jeśli odpowiedź brzmi „mogę go łatwo odtworzyć”, potrzebujesz RAID5, być może z LVM na nim dla uproszczenia zarządzania.

Jeśli odpowiedź brzmi: „Mogę go odtworzyć, ale zajmie to trochę czasu, a ludzie będą narzekać”, chcesz RAID 6 lub więcej RAID 1/10.

Jeśli odpowiedź brzmi: „Nikt nie wykonuje żadnej pracy, podczas gdy ja ją odtwarzam i upewniam się, że jest nieco perfekcyjny”, chcesz ZFS / Raid-Z

Pamiętaj, że zawsze możesz go odtworzyć. RAID nie jest kopią zapasową.

Aby podłączyć wiele dysków w tej samej obudowie, najlepszym narzędziem jest sprzętowy kontroler RAID. Zapewni wiele złączy SATA dla twoich napędów, redundancję poprzez RAID-5 lub najlepiej RAID-6, i może również zapewnić lepszą wydajność.

Programowa wydajność RAID jest często lepsza niż sprzętowa RAID w testach porównawczych, jednak serwery plików i programowe RAID wymagają zarówno dużej mocy obliczeniowej, jak i konkurują o procesory podczas pracy. Z mojego doświadczenia wynika, że ​​o ile nie korzystasz z dwurdzeniowych systemów czterordzeniowych, odpowiednio skonfigurowany sprzętowy macierz RAID znacznie wyprzedzi programową macierz RAID.

Dobre kontrolery sprzętowe z dobrą obsługą linux:

• Areca
• 3Ware
• nowa seria Adaptec (stare są powolne)
• LSI MegaRAID

RAID NIE jest jak LVM. Możesz użyć RAID do tworzenia odpornych na uszkodzenia partycji, ale LVM służy do łatwego partycjonowania dysku i edycji systemu plików. Możesz używać RAID przez LVM lub ZFS (ZFS może działać zarówno w RAID, jak i LVM). Moim zdaniem ZFS działa lepiej niż LVM, ale:

• tylko w systemie Solaris 10/11 / OpenSOlaris, nie można go używać z systemu Linux
• ZFS to system zarządzania dyskami i systemem plików, LVM pozwala na użycie dowolnego systemu plików, którego potrzebujesz

Na Ubuntu wolę używać RAID5 MD z LVM.

Zobacz, co oferują Nexenta i OpenSolaris i myślę, że będziesz bardzo zadowolony z tego, że możesz dostać za nic. Mówi się, że kolejne wersje OpenFiler będą również korzystać z portu ZFS FreeBSD (choć są dość opóźnione z punktu widzenia funkcji).

To powiedziawszy, staram się unikać RAID5, RAID6 lub RAID50 w oprogramowaniu i wolę używać kontrolerów sprzętowych do odciążenia całej pracy XOR. RAID1 i RAID10 w oprogramowaniu Linux działają całkiem dobrze, a następnie umieściłem na nich LVM, aby zapewnić większą elastyczność w tym, co zrobiono z blokami, które mam po wprowadzeniu redundancji. RAID + LVM + XFS to moja ulubiona konfiguracja Linuksa, ale przejęłbym ją ZFS każdego dnia.

RAID vs LVM nie jest naprawdę dobrym porównaniem, pełnią one osobne role i są często używane razem. RAID służy do nadmiarowości dysków, LVM może służyć do podziału urządzenia RAID na woluminy logiczne, służy do łatwego zmieniania rozmiaru i robienia migawek.

Uruchomiłem serwer plików dla bardzo podobnej firmy / sytuacji. Zasadniczo 3-osobowy dział grafiki z 30 TB pamięci i budżetem małej firmy. Nasze typowe projekty trwały od 0,5 TB do 6 TB. A serwer plików obsługiwał sporą farmę renderującą, która naprawdę mogła na nią liczyć.

W mojej konfiguracji uruchomiłem serwer 3U z systemem Linux z podłączonymi do niego zewnętrznymi sprzętowymi macierzami RAID6. Zarządzałem woluminami fizycznymi i logicznymi za pomocą LVM i uruchomiłem system plików XFS. Chciałbym utworzyć logiczny wolumin dla każdego projektu, a następnie rozwinąć go w miarę rozwoju projektu. Po zakończeniu projektu mogłem zarchiwizować zadanie na taśmę i zdmuchnąć wolumin logiczny. To zwróci to miejsce z powrotem do grupy woluminów, gdzie zostanie przeniesione do następnego projektu (projektów).

Był to bardzo czysty sposób na wykorzystanie naszego magazynu, ale istnieją dwie wady tego podejścia. W końcu musisz mikromanalizować rozmiarami woluminów logicznych, próbując zrównoważyć ilość miejsca przydzielonego woluminowi logicznemu, aby mieć wystarczająco dużo miejsca do wykonania zadania, ale nie należy go nadmiernie przydzielać i marnować miejsce. Nasza farma renderująca była w stanie generować wiele TB danych dziennie, a jeśli nie zwrócisz na to uwagi, zabraknie Ci miejsca w pośpiechu. W końcu skonfigurowałem kilka skryptów, które monitorowały trendy w dostępnej przestrzeni na woluminach logicznych i automatycznie je powiększały. Mimo tego, że ma około 80 woluminów logicznych, we wszystkich woluminach logicznych było dużo niewykorzystanego miejsca. Wspomniałem już o drugim problemie ... LVM nie robi Naprawdę wykonuj cienkie przydzielanie, a XFS pozwala tylko na rozbudowę systemu plików. Tak więc nadmierne przydzielenie miejsca do woluminu logicznego może zsumować wiele niepotrzebnego miejsca.

Wszystko to zostało skonfigurowane około 5 lat temu i gdybym to dzisiaj konfigurował, użyłbym OpenSolaris i ZFS. Głównym powodem jest to, że podejście do przechowywania w puli ZFS oznacza mniejsze zarządzanie woluminami. Nadal możesz rozdzielić każdy projekt na własny system plików, ale bez konieczności mikromanizowania wielkości poszczególnych woluminów. ZFS ma kilka innych bardzo fajnych funkcji, które sprawiają, że jest to lepszy wybór, ale pojawiają się inne pytania dotyczące błędu serwera, które dotyczą tego.

Moim zdaniem ZFS jest po prostu najlepszym dostępnym obecnie darmowym rozwiązaniem.

Kilka rzeczy do rozważenia, jeśli pozostajesz z Linuksem:

• Pomyśl też o systemie plików. Twój przykład 4x 500 GB dotyczy największej pojemności, którą poleciłbym z czystym sumieniem dla ext3. Nie polecam tworzenia znacznie większych systemów plików ext3, ponieważ np. Czas fsck może być ogromny. Utwórz kilka mniejszych zamiast jednego dużego systemu plików.
• Jak wspomniałeś o danych wideo: ext3 nieefektywnie obsługuje duże pliki, ponieważ będzie musiał utworzyć pośrednie, podwójnie pośrednie i potrójne pośrednie bloki metadanych do przechowywania danych dużych plików, a zapłacisz cenę. Obecnie ext4 obsługuje rozszerzenia i obsługuje to znacznie lepiej. Ale jest raczej nowy i np. Red Hat Enterprise Linux 5 jeszcze go nie obsługuje. (Niektóre dystrybucje Enterprise będą obsługiwać alternatywy, takie jak XFS).
• W przypadku uszkodzenia danych w dowolnym bloku danych trudno będzie nawet zauważyć to w systemach plików Linux. ZFS Z drugiej strony sumuje wszystkie metadane i dane, a także weryfikuje sumę kontrolną za każdym razem, gdy dane są odczytywane z dysku. (Istnieje również czyszczenie w tle)
• Czas odbudowywania RAID w systemie Linux jest proporcjonalny do wielkości dysku, ponieważ warstwa RAID nie zna zawartości systemu plików (warstwy). Czas przebudowy RAID-Z ZFS zależy od ilości rzeczywistych danych na uszkodzonym dysku, ponieważ tylko używane bloki zostaną skopiowane / odbudowane na dysku zastępczym.
• Czy chcesz wykonać migawkę swojego systemu plików? Migawki LVM nawet nie porównują z natychmiastowymi migawkami ZFS. Te ostatnie mogą być łatwo narażone na działanie przez użytkowników końcowych, np. W celu łatwego przywracania.
• Używaj RAID6 (RAID-Z2), a nie tylko RAID5 (RAID-Z) z dużymi dyskami (> 500 GB), ponieważ istnieje ryzyko, że inny dysk ulegnie awarii podczas odbudowy.

Użyj narzędzia „mdadm”, aby utworzyć macierz RAID-5 z dysków.

Zapewnia to potrzebną nadmiarowość, więc jeśli dysk się zepsuje, możesz go wymienić bez utraty danych, a także daje możliwość użycia 3 z 4 dysków.

Polecam również utworzenie wolumenu LVM na macierzy RAID, aby w razie potrzeby można było podzielić miejsce na partycje.

Możesz rzucić okiem na AFS. To da ci pewną miarę zarówno dostępności (możesz uzyskać dostęp do tych plików zarówno w sieci, jak i poza nią) oraz nadmiarowości (pliki można replikować). W przypadku przepływu pracy, w którym otwierasz plik, pracuj nad nim przez pewien czas, a następnie zapisz go, byłoby to lepsze (z punktu widzenia sieci) niż NFS, przynajmniej starszy NFS.

Jak mówi druga odpowiedź, LVM jest szeroko stosowany i może łączyć kilka dysków w jedną „grupę woluminów”, która wygląda jak jedno wielkie urządzenie blokowe. Warto jednak pamiętać, że takie postępowanie zwiększa prawdopodobieństwo awarii - wystarczy awaria jednej grupy w grupie woluminów, aby usunąć cały system plików, a jeśli masz cztery dyski połączone, jest to cztery razy bardziej prawdopodobne. Najlepiej jest użyć LVM na macierzy RAID1 lub podobnej, aby to złagodzić. Oprogramowanie Linux RAID jest do tego wystarczające, chociaż sprzętowa RAID może być wygodniejsza.

Przepraszam, to byłby komentarz, ale nie mam przedstawiciela ...

W jaki sposób RAID-Z lub RAIDZ2 zapewniają lepszą redundancję niż RAID6?

ZFS wszędzie ma sumę kontrolną

O oryginalne pytanie. Bez względu na dane użyłbym 2 aktywnych parzystości na 10 dysków. Chciałbym użyć dobrej jakości karty RAID, te 3ware są doskonałe. Osobiście używam sprzętowego RAID z podtrzymaniem bateryjnym. LVM, abyś mógł łatwo migrować dane pod koniec okresu użytkowania sprzętu. XFS jako system plików.

Dlaczego nie używasz dysku lub karty SSD do uruchomienia serwera systemowego, a 500 GB to tylko pamięć masowa. Użyj jednego dysku 500 GB, a gdy się zapełni, wymień go ręcznie. Możesz spokojnie wykonać kopię zapasową na innym komputerze. Ponieważ dysk twardy obraca się (wiruje), może ulec uszkodzeniu. W każdym razie, jeśli podłączysz wszystkie dyski w tym samym czasie, wszystkie się obracają i mogą przyjąć obrażenia, jeśli ich użyjesz lub nie. Prawdopodobieństwo wystąpienia awarii wzrasta, gdy masz więcej włączonych dysków. Używaj jednego na raz i wymieniaj go, gdy są pełne lub w czasie przewidującym awarię (użyj też możliwości SMART, aby się tego pozbyć). Użyj dysku przenośnego lub zewnętrznego adaptera dysku SCSI / SATA, aby nie trzeba było demontować serwera komputera za każdym razem, gdy wymieniasz dysk. To najbardziej bezpieczna i niezawodna forma. Korzystanie z RAID jest droższe i po prostu marnujesz niektóre dyski (ponieważ pozwalasz mu się włączyć, ponieważ grozi to jego uszkodzeniem, jeśli pozwolisz mu włączyć się - głupio, czy nie?). Jeśli chcesz uzyskać więcej danych, skorzystaj z konfiguracji RAID, co wydaje się dobrym wyborem, ale nigdy nie ufaj konfiguracji komputera. Kopia zapasowa musi być zawsze wykonywana ręcznie z osobą (administratorem sieci lub serwera). To jedna z prac administratora. Do wykonania kopii zapasowej można użyć taśm, DVD, BlueRay lub innych dysków. Ale zawsze potrzebujesz niezawodnego nośnika pamięci, a działający dysk to nie jeden. Wyłączony dysk i dobrze zapisany (w świeżym i wolnym od wilgoci miejscu) to niezawodny nośnik pamięci. Jeśli chcesz uzyskać więcej danych, skorzystaj z konfiguracji RAID, co wydaje się dobrym wyborem, ale nigdy nie ufaj konfiguracji komputera. Kopia zapasowa musi być zawsze wykonywana ręcznie z osobą (administratorem sieci lub serwera). To jedna z prac administratora. Do wykonania kopii zapasowej można użyć taśm, DVD, BlueRay lub innych dysków. Ale zawsze potrzebujesz niezawodnego nośnika pamięci, a działający dysk to nie jeden. Wyłączony dysk i dobrze zapisany (w świeżym i wolnym od wilgoci miejscu) to niezawodny nośnik pamięci. Jeśli chcesz uzyskać więcej danych, skorzystaj z konfiguracji RAID, co wydaje się dobrym wyborem, ale nigdy nie ufaj konfiguracji komputera. Kopia zapasowa musi być zawsze wykonywana ręcznie z osobą (administratorem sieci lub serwera). To jedna z prac administratora. Do wykonania kopii zapasowej można użyć taśm, DVD, BlueRay lub innych dysków. Ale zawsze potrzebujesz niezawodnego nośnika pamięci, a działający dysk to nie jeden. Wyłączony dysk i dobrze zapisany (w świeżym i wolnym od wilgoci miejscu) to niezawodny nośnik pamięci. Ale zawsze potrzebujesz niezawodnego nośnika pamięci, a działający dysk to nie jeden. Wyłączony dysk i dobrze zapisany (w świeżym i wolnym od wilgoci miejscu) to niezawodny nośnik pamięci. Ale zawsze potrzebujesz niezawodnego nośnika pamięci, a działający dysk to nie jeden. Wyłączony dysk i dobrze zapisany (w świeżym i wolnym od wilgoci miejscu) to niezawodny nośnik pamięci.