Dodawanie 60 TB pamięci do serwera SLES 10

Muszę dodać trochę archiwum / pomostu do serwera SLES 10. Wymagane jest przedstawienie dość dużych woluminów (około 9-20 TB każdy, łącznie około 60 TB), które zostaną wykorzystane do przechowywania danych archiwalnych (dosłownie, dotyczy to biblioteki) zawierających duże pliki obrazów (w większości 150 Meg Tiff) i duże tarballi. Dane będą w przeważającej mierze stronnicze, aby odczytać IO, z pewnością> 95% i prawdopodobnie ponad 99%.

Pamięć masowa została już zakupiona - macierz Dell MD3000 SAS połączona z 2 dyskami MD1000 w pełni zapełnionymi dyskami SATA 2 TB 7200 obr./min, łącznie 45 dysków. Stos tablic jest połączony za pomocą dwóch dwuportowych zewnętrznych adapterów SAS, tj. Istnieją 4 ścieżki do stosu.

Moim zamiarem jest skonfigurowanie ich jako zestawu 4 woluminów siedzących na 4 grupach RAID z jednym wolnym zapasem na macierz. Wszystkie grupy będą miały RAID 6 z 7 lub 14 dyskami, a każda grupa RAID będzie prezentowana jako pojedyncza jednostka LUN z wykorzystaniem całej pojemności w tej grupie. Po stronie SLES należy je sformatować jako woluminy XFS.

Mam ograniczone doświadczenie z SLES (i ogólnie Linuksem) i szukam kilku rekomendacji na ten temat, w szczególności:

1. Czy są jakieś szczególne rzeczy, na które należy uważać przy konfigurowaniu woluminów XFS tego rozmiaru w SLES 10, tj. Czy ustawienia domyślne będą OK, biorąc pod uwagę profil IO?
2. Jaki jest najlepszy sposób na zainicjowanie \ partycji \ sformatowanie tych plików? Użyłem Parted do ustawienia etykiety dysku i Menedżera partycji YAST (akceptującego wszystkie wartości domyślne) do utworzenia i sformatowania woluminu XFS do pierwszego testu.
3. Jak skonfigurować obsługę wielu ścieżek? Kiedy przedstawiam początkowy wolumin testowy, pojawia się on jako cztery oddzielne urządzenia (/ dev / sdl, / dev / sdm, / dev / sdn i / dev / sdn). Co mam zrobić, aby pracować z tym jako jednym woluminem?
4. W moich początkowych testach widzę prędkości transferu z istniejącego wolumenu SAN EMC Clariion około 30 Meg / s. Jest to o wiele mniej, niż się spodziewałem, nawet biorąc pod uwagę karę za zapis RAID 6, której spodziewałem się zobaczyć w ballparku 70-100 Meg / s.
5. Jak sprawdzić, czy wszystko jest w porządku - gdzie szukać błędów \ ostrzeżeń itp.? Na przykład edytor partycji YAST zajmuje bardzo dużo czasu i chciałbym zrozumieć, dlaczego.
6. Czy podzieliłbyś to na inne partycje i \ lub używałbyś innego systemu plików, a jeśli tak, to dlaczego?

Serwer to Dell 2950 - nie sprawdziłem szczegółowej specyfikacji, ale u góry widać wykorzystanie unoszące się w najniższych pojedynczych cyfrach.

W mojej poprzedniej pracy mieliśmy podobny problem. Produkowaliśmy planetaria, a każda klatka miała 64 megapiksele. Dużo dużych zdjęć. Byłyby one przetwarzane dla każdego teatru w bardzo agresywnej operacji odczytu na klastrze komputerów.

Serwer w tym przypadku miał podobną konfigurację pamięci. Wiele zewnętrznych bezpośrednio podłączonych macierzy RAID. Każdy z nich znajdował się w woluminach RAID6 wystawionych na host i dodanych do VG (Grupa woluminów) w ramach LVM (Menedżer woluminów logicznych). Każdy show / produkcja otrzyma wtedy swój własny LV (wolumin logiczny), sformatowany XFS, który będziemy rozwijać wraz z projektem zgodnie z wymaganiami.

Jeśli twoje zbiory danych są dość statyczne lub rosną w przewidywalny sposób, taki jak ten, to podejście powinno działać dobrze. Ale uważaj, takie podejście ma wadę. W końcu musisz mikro-zarządzać LV na swoim magazynie. Niektórzy administratorzy wolą to w ten sposób, ale inni starają się tego uniknąć. Pozwala to jednak na rozbudowę każdego systemu plików LV i XFS wraz ze wzrostem zbioru danych. Utrzymywanie woluminów XFS tak małych, jak to możliwe, aby nie utknąć przy fsck, którego ukończenie zajmuje lata. I może działać jako kontrola szkód, jeśli system plików pójdzie na południe.

Zastrzeżenie: Gdybym miał to dzisiaj skonfigurować, użyłbym OpenSolaris i ZFS. Głównie b / c pozwala uniknąć problemów z zarządzaniem mikro i jest doskonałym systemem plików / menedżerem woluminów. Więc możesz też na to rzucić okiem.

Byłbym o wiele bardziej zaangażowany, aby kupić więcej dysków i RAID 10 je.

Miałem straszne problemy z setkami dysków FATA 1 TB, które kupiliśmy jakiś czas temu, są to po 1 000 GBP i tracę 5% miesięcznie! Zasadniczo nie są one przeznaczone do pracy w cyklu 24x7 i że możesz mieć te same problemy, dlatego polecam R10.

RAID6 jest krokiem we właściwym kierunku, ale jeśli masz taką możliwość, zostawiłbym przynajmniej jeden dysk jako zapasowy - jeśli dysk umrze gdziekolwiek w twojej macierzy, wskoczy i rozłoży się, czekając na ciebie wymienić uszkodzony dysk. W tym temacie upewnij się, że masz na miejscu co najmniej 2 lub 3 zapasowe dyski gotowe do wymiany, a także upewnij się, że masz wszystkie ustawienia alertów, aby powiadomić Cię, gdy wystąpi problem 24x7.

Jeśli chodzi o wydajność, te dyski o pojemności 2 GB nie są zbyt powolne w przypadku dysku 7,2k, a SAS może być bardzo szybki, więc spodziewam się 70 MB / s dla kolejnych odczytów, o których wspomniałeś - oczywiście liczba losowych i zapisów będzie dość niska.

Przepraszam, jeśli wydaje mi się negatywny, od lat zmagam się z pamięcią masową i mogę spokojnie spać z korporacyjnymi systemami dyskowymi - po prostu naciągnąłem zbyt wiele 48/72-godzinnych zmian, które naprawiały sprzęt niższej klasy.