Nie jestem ninja z rozproszonego systemu plików, ale po skonsolidowaniu jak największej liczby dysków na jak najmniejszej liczbie komputerów, spróbuję użyć iSCSI, aby połączyć większość komputerów z jedną maszyną główną. Tam mogłem skonsolidować rzeczy w pamięci, która może być odporna na uszkodzenia. Najlepiej, jeśli jest odporny na uszkodzenia w maszynie (w przypadku awarii napędu) i wśród maszyn (w przypadku braku zasilania całej maszyny).
Osobiście lubię ZFS. W takim przypadku pomocna byłaby kompresja kompresji, deduplikacja i odporność na awarie. Jednak jestem pewien, że istnieje wiele innych sposobów kompresji danych, jednocześnie czyniąc je odpornym na uszkodzenia.
Szkoda, że nie mam poleconego rozwiązania plików rozproszonych pod klucz, wiem, że to naprawdę kludgey, ale mam nadzieję, że skieruje cię we właściwym kierunku.
Edycja: Nadal jestem nowy w ZFS i konfiguruję iSCSI, ale przypomniałem sobie wideo z firmy Sun w Niemczech, w którym pokazali odporność na błędy ZFS. Połączyli trzy koncentratory USB z komputerem i umieścili cztery dyski flash w każdym koncentratorze. Następnie, aby zapobiec wyłączeniu puli pamięci przez jeden koncentrator, utworzyli wolumin RAIDz składający się z jednego dysku flash z każdego koncentratora. Następnie łączą razem cztery woluminy ZFS RAIDz. W ten sposób do parzystości wykorzystano tylko cztery dyski flash. Następnie oczywiście odłączony jeden koncentrator i to pogorszyło każdy zpool, ale wszystkie dane były dostępne. W tej konfiguracji maksymalnie cztery dyski mogą zostać utracone, ale tylko wtedy, gdy jakieś dwa dyski nie będą w tej samej puli.
Jeśli ta konfiguracja zostanie użyta z nieprzetworzonym dyskiem każdego pudełka, to zachowa więcej dysków dla danych, a nie dla parzystości. Słyszałem, że FreeNAS może (lub miał być w stanie) udostępniać dyski w „surowy” sposób przez iSCSI, więc sądzę, że Linux może zrobić to samo. Jak powiedziałem, wciąż się uczę, ale ta alternatywna metoda byłaby mniej marnotrawna z punktu widzenia parzystości dysków niż moja poprzednia sugestia. Oczywiście polegałoby na użyciu ZFS, którego nie wiem, czy byłoby to dopuszczalne. Wiem, że najlepiej trzymać się tego, co wiesz, jeśli będziesz musiał coś zbudować / utrzymać / naprawić, chyba że jest to doświadczenie edukacyjne.
Mam nadzieję, że to jest lepsze.
Edycja: trochę kopałem i znalazłem wideo , o którym mówiłem. Część, w której wyjaśniają rozkładanie napędu flash USB na koncentratory, zaczyna się od 2m10s. Film wideo ma na celu pokazanie serwera pamięci „Thumper” (X4500) oraz sposobu rozmieszczania dysków na kontrolerach, aby w przypadku awarii kontrolera dysku twardego dane były nadal dobre. (Osobiście uważam, że to tylko film z geekami, którzy się bawią. Chciałbym sam mieć pudełko Thumpera, ale moja żona nie chciałaby, żebym poprowadził wózek paletowy przez dom.: D To jedno duże pudełko.)
Edycja: Pamiętam, jak przechodziłem przez rozproszony system plików o nazwie OpenAFS . Nie próbowałem tego, przeczytałem tylko trochę o tym. Być może inni wiedzą, jak sobie radzi w prawdziwym świecie.