Na dowolnym poziomie RAID używającym pasowania zwiększenie liczby dysków fizycznych zwykle zwiększa wydajność, ale także zwiększa prawdopodobieństwo awarii jednego z dysków w zestawie. Mam pomysł, że nie powinienem używać więcej niż około 6-8 dysków w danym zestawie RAID, ale to więcej niż przekazywana wiedza, a nie twardy fakt z doświadczenia. Czy ktoś może podać mi dobre zasady wraz z uzasadnieniem maksymalnej liczby dysków w zestawie?
Odpowiedzi:
Zalecana maksymalna liczba dysków w systemie RAID jest bardzo różna. To zależy od różnych rzeczy:
W przypadku macierzy RAID opartych na SATA nie chcesz mieć więcej niż około 6,5 TB surowego dysku, jeśli używasz RAID5. Przejdź dalej niż i RAID6 jest znacznie lepszym pomysłem. Wynika to z niemożliwego do odzyskania poziomu błędu odczytu. Jeśli rozmiar tablicy jest zbyt duży, szanse na niemożliwy do odzyskania błąd odczytu występujący podczas odbudowy tablicy po utracie stają się coraz wyższe. Jeśli tak się stanie, to bardzo źle. Posiadanie RAID6 znacznie zmniejsza tę ekspozycję. Jednak dyski SATA ostatnio poprawiają jakość, więc może to nie trwać dłużej.
Liczba wrzecion w tablicy tak naprawdę mnie nie martwi, ponieważ dość łatwo jest dostać się do 6,5 TB z dyskami 500 GB na U320. W takim przypadku dobrze byłoby umieścić połowę napędów na jednym kanale, a połowę na drugim, aby zmniejszyć rywalizację we / wy po stronie magistrali. Prędkości SATA-2 są takie, że nawet dwa dyski przesyłane z maksymalną prędkością mogą nasycić magistralę / kanał.
Dyski SAS mają niższy współczynnik MTBF niż SATA (znowu zaczyna się to zmieniać), więc zasady są mniej rygorystyczne.
Istnieją macierze FC, które korzystają wewnętrznie z dysków SATA. Kontrolery RAID są tam bardzo wyrafinowane, co ogranicza zasady. Na przykład linia macierzy HP EVA grupuje dyski w „grupy dysków”, na których układane są jednostki LUN. Kontrolery celowo umieszczają bloki dla jednostek LUN w niesekwencyjnych lokalizacjach i wykonują poziomowanie obciążenia na blokach za scenami, aby zminimalizować hot-spot. Co jest długą drogą do powiedzenia, że wykonują dla ciebie wiele ciężkich operacji związanych z wielokanałowym We / Wy, wrzecionami zaangażowanymi w jednostkę LUN i zajmowaniem się redundancją.
Podsumowując, wskaźniki awaryjności dysków nie określają reguł dotyczących liczby wrzecion w grupie RAID, a wydajność. Przez większą część.
Jeśli szukasz wydajności, ważne jest, aby zrozumieć połączenie, którego używasz do dołączania dysków do macierzy. W przypadku SATA lub IDE będzie to odpowiednio 1 lub 2 na kanał (przy założeniu, że używasz kontrolera z niezależnymi kanałami). W przypadku SCSI zależy to w dużej mierze od topologii magistrali. Wczesne SCSI miało limit urządzeń wynoszący 7 identyfikatorów urządzeń na łańcuch (znany również jako kontroler), z których jednym musiał być sam kontroler, więc miałbyś 6 urządzeń na łańcuch SCSI. Nowsze technologie SCSI pozwalają na prawie dwukrotne zwiększenie tej liczby, więc patrzyłbyś na 12+. Kluczem tutaj jest to, że łączna przepustowość wszystkich dysków nie może przekroczyć pojemności połączenia , w przeciwnym razie dyski będą „pracowały na biegu jałowym”, gdy osiągną maksymalną wydajność.
Pamiętaj, że dyski nie są tutaj jedynym słabym ogniwem; każde połączenie bez redundancji powoduje pojedynczy punkt awarii. Jeśli mi nie wierzysz, ustaw macierz RAID 5 na jednołańcuchowym kontrolerze SCSI, a następnie zewrzyj kontroler. Czy nadal możesz uzyskać dostęp do swoich danych? Tak właśnie myślałem.
Dzisiaj wszystko się trochę zmieniło. Dyski nie poprawiły się zbytnio pod względem wydajności, ale zauważony postęp jest na tyle znaczący, że wydajność nie stanowi problemu, chyba że pracujesz z „farmami dysków”, w którym to przypadku mówisz o zupełnie innej infrastrukturzea ta odpowiedź / rozmowa jest dyskusyjna. To, o co prawdopodobnie będziesz się martwić, to nadmiarowość danych. RAID 5 dobrze prosperował ze względu na kilka czynników, ale czynniki te uległy zmianie. Myślę, że przekonasz się, że RAID 10 może ci się bardziej podobać, ponieważ zapewni dodatkową redundancję w przypadku awarii dysku, jednocześnie zwiększając wydajność odczytu. Wydajność zapisu nieznacznie spadnie, ale można to złagodzić poprzez zwiększenie liczby aktywnych kanałów. Wybrałbym 4-dyskową konfigurację RAID 10 zamiast 5-dyskowej konfiguracji RAID 5 każdego dnia, ponieważ konfiguracja RAID 10 może przetrwać (konkretny przypadek) awarii dwóch dysków, podczas gdy macierz RAID 5 po prostu przewróci się i umrze z awarią dwóch napędów. Oprócz zapewnienia nieco lepszej redundancji, można również złagodzić „sterownik jako pojedynczy punkt awarii” sytuację, dzieląc lustro na dwie równe części, przy czym każdy kontroler obsługuje tylko pasek. W przypadku awarii kontrolera pasek nie zostanie utracony, a jedynie efekt lustra.
Oczywiście może to być całkowicie niewłaściwe w zależności od okoliczności. Będziesz musiał przyjrzeć się kompromisom między szybkością, wydajnością i redundancją. Podobnie jak stary żart techniczny: „lepiej, taniej, szybciej, wybierz dowolne dwa”, przekonasz się, że możesz żyć w konfiguracji, która ci odpowiada, nawet jeśli nie jest optymalna.
RAID 5 Powiedziałbym 0 dysków na macierz. Zobacz http://baarf.com/ lub podobne rants z dowolnej liczby innych źródeł.
RAID 6 Powiedziałbym, że 5 dysków + 1 na każdy gorący zapas na macierz. Tak czy inaczej, możesz równie dobrze zrobić RAID 10, a Ty przesuwasz czynnik ryzyka i powinieneś przejść na RAID 10.
RAID 10 jest tak wysoko, jak chcesz.
Używam 7 jako „magicznej” maksymalnej liczby. Dla mnie to dobry kompromis między straconą przestrzenią na redundancję (w tym przypadku ~ 14%) a czasem na odbudowę (nawet jeśli LUN jest dostępna podczas odbudowy) lub zwiększenie rozmiaru, a MTBF.
Oczywiście działało to dla mnie świetnie podczas pracy z obudowami 14-dyskowymi SAN. Dwóch naszych klientów miało obudowy na 10 dysków, a magiczna liczba 7 została zmniejszona do 5.
Ogólnie rzecz biorąc, 5-7 zadziałało dla mnie. Niestety, nie mam też żadnych danych naukowych, po prostu doświadczenie z systemami RAID od 2001 roku.
Efektywnym maksimum jest przepustowość kontrolera RAID.
Powiedzmy, że odczyt dysku maks. 70 MB / s. Przy szczytowym obciążeniu nie można wystarczająco szybko przeszukiwać danych. W przypadku zajętego serwera plików (RAID 5) lub serwera db (RAID 10) możesz to zrobić szybko.
SATA-2 ma specyfikację interfejsu 300 MB / S, SCSI Ultra 320 byłby bardziej spójny. Mówisz o 6-10 dyskach, ponieważ zbyt często nie osiągasz szczytów.
Limit dysków w macierzy RAID był określany na podstawie liczby urządzeń na szynie SCSI. Do jednej magistrali można podłączyć do 8 lub 16 urządzeń, a kontroler liczy się jako jedno urządzenie - czyli było to 7 lub 15 dysków.
W związku z tym wiele macierzy RAID stanowiło 7 dysków (jeden był gorącym dyskiem zapasowym), co oznaczało, że pozostało 6 dysków - lub 14 dysków z 1 dyskiem zapasowym.
Zatem największą rzeczą dotyczącą dysków w grupie RAID jest prawdopodobnie liczba potrzebnych IOPS.
Na przykład dysk SCSI o prędkości 10 000 obr./min może pracować z około 200 IOPS - gdybyś miał 7 z nich w macierzy RAID 5 - straciłbyś 1 dysk z parzystością, ale miałbyś 6 dysków do odczytu / zapisu i teoretycznie maksymalnie 1200 IOPS - jeśli potrzebowałem więcej IOPS - dodaj więcej dysków (200 IOPS na dysk).
A szybsze dyski SAS o prędkości 15 000 obr./min mogą wzrosnąć do 250 IOPS itp.
A potem zawsze jest SSD (30 000 IOPS na dyski) i można je raidować (choć naprawdę drogie).
I myślę, że SAS ma szaloną maksymalną wartość dla liczby urządzeń - na przykład 16 000 dysków
Z RAID6 i SATA miałem dobry sukces z 11 dyskami ... I jednym hot-spare (niektóre złe kontrolery będą potrzebowały dwóch części zapasowych, aby przebudować RAID6). Jest to wygodne, ponieważ wiele JBOD występuje w grupach po 12 dysków, takich jak HP MSA60.
Dopóki nie osiągniesz maksymalnej prędkości autobusu w węższym punkcie łańcucha (karta rajdowa, linki), więc może to mieć sens. To samo, gdy dodajesz wiele kart sieciowych 1GbE do szyny PCI, nie ma sensu.