Jak mogę transparentnie buforować dowolny katalog lub podłączony system plików w celu odczytu i zapisu?

Załóżmy, że zamontowałem trochę pamięci w chmurze (w moim przypadku Amazon Cloud Drive) za pomocą klienta FUSE pod adresem /mnt/cloud. Ale ponieważ odczytywanie i zapisywanie plików bezpośrednio do nich /mnt/cloudjest powolne, ponieważ musi ono odbywać się przez Internet, chcę buforować pliki, z których czytam i zapisuję do pamięci w chmurze. Ponieważ mogę jednocześnie zapisywać wiele danych, pamięć podręczna powinna znajdować się na moim dysku, a nie w pamięci RAM. Ale nie chcę replikować całego magazynu w chmurze na moim dysku, ponieważ mój dysk może być za mały.

Chcę więc mieć /mnt/cloudzamontowany widok buforowany /mnt/cloud_cache, który używa innej ścieżki, powiedzmy /var/cache/cloudjako lokalizację buforowania.

Jeśli teraz czytam /mnt/cloud_cache/file, chcę, aby wydarzyło się:

Sprawdź, czy filejest buforowany w /var/cache/cloud/file.

1. Jeśli buforowane: filePamięć podręczna odprawy jest aktualna, pobierając modtime i / lub sumę kontrolną z /mnt/cloud. Jeśli jest aktualny, podaj plik z pamięci podręcznej, w przeciwnym razie przejdź do 2.
2. Jeśli nie jest w pamięci podręcznej lub pamięć podręczna jest nieaktualna: skopiuj /mnt/cloud/fileją /var/cache/cloud/filei udostępnij z pamięci podręcznej.

Kiedy piszę do /mnt/cloud_cache/file, chcę, aby tak się stało:

1. Pisz /var/cache/cloud/filei pisz w dzienniku, filektóry należy odpisać/mnt/cloud
2. Poczekaj na zakończenie /var/cache/cloud/filezapisu i / lub na wcześniejsze zapisywanie wstecz/mnt/cloud
3. Skopiuj /var/cache/cloud/filedo/mnt/cloud

Mam następujące wymagania i ograniczenia:

• Darmowe i otwarte oprogramowanie
• Możliwość ustawienia pamięci podręcznej dowolnej lokalizacji pamięci podręcznej
• Możliwość buforowania dowolnej lokalizacji (prawdopodobnie jakiś punkt montowania FUSE)
• Przejrzyste buforowanie, tzn. Użycie /mnt/cloud_cachejest przezroczyste dla mechanizmu buforowania i działa jak każdy inny zamontowany system plików
• Prowadzenie rejestru tego, co należy zapisać (pamięć podręczna może uzyskać wiele danych, które należy zapisać w pierwotnym miejscu przechowywania w ciągu kilku dni)
• Automatyczne usuwanie zapisanych w pamięci podręcznej plików, do których wcześniej nie uzyskano dostępu
• Spójność (tj. Odzwierciedlająca zmiany zewnętrzne /mnt/cloud) nie jest niezwykle ważna, ponieważ prawdopodobnie będę mieć dostęp tylko do jednego klienta /mnt/cloudna raz, ale byłoby miło mieć.

Spędziłem sporo czasu na poszukiwaniu istniejących rozwiązań, ale nie znalazłem nic satysfakcjonującego.

• Wygląda na to, że FS-Cache i CacheFS ( https://www.kernel.org/doc/Documentation/filesystems/caching/fscache.txt ) działają tylko z systemami plików nfslub afsnie wiem, jak sprawić, by buforował inny plik FUSE system lub dowolny katalog ogólny.
• bcache ( https://bcache.evilpiepirate.org/ ) wydaje się działać tylko z urządzeniami blokowymi, tzn. nie może buforować innego systemu plików FUSE
• gcsfuse ( https://github.com/GoogleCloudPlatform/gcsfuse ) Myślę, że robi to dokładnie to, czego chcę, ale jest zintegrowane z Google Cloud Storage. Aby ogólnie działało, musiałbym go zhakować i zmienić dostęp do GCS na lokalny dostęp do plików w danym punkcie montowania lub dostęp do Amazon Cloud Drive

Spróbuj użyć catfs , ogólnego systemu plików buforującego bezpieczniki, nad którym obecnie pracuję.

Możliwe jest użycie FS-Cache / CacheFS do buforowania systemu zamontowanego na bezpieczniku, poprzez dodanie pośrednictwa NFS pomiędzy: Jeśli twoje mocowanie bezpiecznika jest włączone / fusefs, to udostępnij je sobie na nfs, pisząc to w / etc / exportfs:

/fusefs localhost(fsid=0)

Teraz możesz to zrobić:

mount -t nfs -o fsc localhost:/fusefs /nfs systemctl start cachefilesd

i / nfs zaoferuje dostęp do / fusefs w pamięci podręcznej.

Używam tego podejścia z sshfs jako back FS, działa to ładnie.

(Niestety, to tylko przyspiesza dostęp do zawartości pliku; metadane pliku nie są buforowane stati opennadal są wolne).

To jest ignorancka odpowiedź, ponieważ nie mam dostępu do katalogu chmury Amazon, z którym można by ją przetestować. Ale w duchu „Jak to zrobić” : skonfiguruj chmurę Amazon do obsługi NFS , a następnie zaloguj się zdalnie do tego serwera NFS przy użyciucachefilesd .

_{"Łatwiej powiedzieć niż zrobić..."}