Rozwiązania do automatycznego przechowywania warstwowego Home-Brew z Linuksem? (Pamięć -> SSD -> HDD -> pamięć zdalna)

Powiązane z tym pytaniem dotyczącym używania dysku SSD dla systemu i dysku twardego dla danych , z tym że chciałbym, aby mój system zrobił to automatycznie ...

Czy możliwe jest posiadanie kilku warstw pamięci i automatyczne przesuwanie przedmiotów między nimi, przy użyciu najlepiej darmowego oprogramowania typu open source?

Znam bardzo drogie rozwiązania klasy korporacyjnej, takie jak automatyczna archiwizacja EMC SAN-> EMC Centera , ale zastanawiałem się, czy tego rodzaju magazynowanie etapowe jest możliwe automatycznie.

Byłoby miło mieć w tym kilka warstw: Memory-> SSD-> HDD-> wolniejszy HDD lub taśmę lub inne rozwiązanie archiwizujące.

Czy istnieją systemy plików, które mogą to zrobić automatycznie? (ZFS, Btrfs, HAMMER?)

Wszelkie warianty uniksowe są w porządku, ponieważ interesuje mnie, jak to działa i czy może być przenośne na Linuksa lub inne smaki (BSD itp.).

Cóż, ZFS używa warstw pamięci o nazwie Hybrid Storage Pool (HSP) :

1. Warstwa: pamięć
2. Warstwa: pamięci podręczne odczytu oparte na dyskach SSD (L2ARC) i pamięci podręczne zapisu (oddzielne hasło logu, inaczej slogan).
3. Warstwa: (tanie) dyski twarde

Dzięki HSP łatwo można automatycznie korzystać z zalet dysków SSD w porównaniu z rozwiązaniem przeznaczonym wyłącznie na dysk twardy. System wykorzystujący HSP może być zarówno szybszy, jak i tańszy niż ten drugi. Zobacz ten link, aby uzyskać kilka miłych przykładów i więcej szczegółów.

Myślę, że istnieją plany dotyczące hierarchicznego zarządzania pamięcią masową (HSM) dla ZFS (patrz na przykład projekt OpenSolaris w zakresie automatycznej migracji danych (ADM) ), ale nie znam jego obecnego stanu.

Sprawdź oparte na LVM rozwiązanie „lvmts” (LVM Tiered Storage), które ten facet przygotowuje:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

Całkiem fajne.

TIER wydaje się odpowiadać na twoje potrzeby Jest to moduł jądra systemu Linux, który może tworzyć wielopoziomową pamięć masową. Wydaje się, że sam uczy się wzoru i optymalizuje umieszczenie w magazynie

http://www.lessfs.com/wordpress/?p=776

Odpowiadając na moje pytanie czymś, co właśnie znalazłem:

Właśnie aktualizowałem jądro i patrzyłem na nowe rzeczy, które zostały dodane, i jest teraz opcja „CACHEFILES”, która pozwala buforować (zwykle zdalne) systemy plików do lokalnego systemu plików. Myślę, że mógłbym użyć tego do buforowania wolniejszego mechanizmu pamięci masowej (HDD) do szybszego (SSD), przynajmniej dla jednego poziomu hierarchii.

Niektóre odpowiednie linki. YMMV.

http://code.google.com/p/fscops/ - „Online Hierarchical Storage Manager (OHSM) to pierwsza próba w kierunku menedżera przechowywania danych typu open source na poziomie przedsiębiorstwa, który automatycznie przenosi dane między kosztownymi a niskimi kosztami przechowywania głoska bezdźwięczna.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI w systemie Linux

http://jfs.sourceforge.net/ - JFS + DMAPI w systemie Linux

Kontrolery RAID oferują niektóre z tych funkcji.

„Wykorzystuje dyski SSD przed woluminami HDD, aby tworzyć pule pamięci podręcznej kontrolerów o dużej pojemności i wydajności”

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx

Migawki LVM2 przychodzą mi na myśl ... ale tak naprawdę nie można zrobić więcej niż jedną migawkę.

SAM-QFS to istniejący produkt firmy Sun, który został otwarty w zeszłym roku. Jest to CDDL, więc można go tylko bezpośrednio przenieść na * BSD.