Aktualizacja
S3 oferuje teraz w pełni zarządzaną usługę bramy SFTP dla S3, która integruje się z IAM i może być administrowana za pomocą aws-cli.
Istnieją teoretyczne i praktyczne powody, dla których nie jest to idealne rozwiązanie, ale działa ...
Możesz zainstalować usługę FTP / SFTP (taką jak proftpd) na serwerze linux, w EC2 lub we własnym centrum danych ... następnie zamontuj wiadro w systemie plików, w którym serwer ftp jest skonfigurowany do chroot, używając s3fs .
Mam klienta, który obsługuje zawartość z S3, a treść jest im dostarczana przez firmę zewnętrzną, która obsługuje tylko wypychanie ftp ... więc z pewnym wahaniem (z powodu niezgodności impedancji między S3 a rzeczywistym systemem plików), ale brakuje jej czas na napisanie odpowiedniego pakietu oprogramowania do serwera bramy FTP / S3 (co nadal zamierzam zrobić któregoś z dni), zaproponowałem i wdrożyłem dla nich to rozwiązanie kilka miesięcy temu i nie zgłosili żadnych problemów z systemem.
Jako bonus, ponieważ proftpd może chrootować każdego użytkownika do jego własnego katalogu domowego i "udawać" (o ile użytkownik może stwierdzić), że pliki należące do użytkownika proftpd są faktycznie własnością zalogowanego użytkownika, to segreguje każdego użytkownika ftp na „podkatalog” zasobnika i sprawia, że pliki innych użytkowników są niedostępne.
Występuje jednak problem z domyślną konfiguracją.
Gdy zaczniesz pobierać kilkadziesiąt lub setki plików, problem ujawni się, gdy ściągniesz listę katalogów, ponieważ ProFTPd będzie próbował czytać .ftpaccesspliki w kółko, i znowu, i dla każdego pliku w katalogu,.ftpaccess jest zaznaczona, aby zobaczyć, czy użytkownik powinien mieć możliwość jego przeglądania.
Możesz wyłączyć to zachowanie w ProFTPd, ale sugerowałbym, że najbardziej poprawną konfiguracją jest skonfigurowanie dodatkowych opcji -o enable_noobj_cache -o stat_cache_expire=30w s3fs:
-o stat_cache_expire (domyślnie nie wygasa)
określ czas wygaśnięcia (w sekundach) dla wpisów w pamięci podręcznej statystyk
Bez tej opcji będziesz wysyłać mniej żądań do S3, ale nie zawsze będziesz niezawodnie wykrywać zmiany wprowadzone w obiektach, jeśli zewnętrzne procesy lub inne instancje s3fs również modyfikują obiekty w zasobniku. Wartość „30” w moim systemie została wybrana nieco arbitralnie.
-o enable_noobj_cache (domyślnie wyłączone)
włącz wpisy pamięci podręcznej dla obiektu, który nie istnieje. s3fs zawsze musi sprawdzić, czy plik (lub podkatalog) istnieje w obiekcie (ścieżce), gdy s3fs wykonuje jakąś komendę, ponieważ s3fs rozpoznał katalog, który nie istnieje i ma w sobie pliki lub podkatalogi. Zwiększa żądanie ListBucket i zmniejsza wydajność. Możesz określić tę opcję dla wydajności, s3fs zapamiętuje w pamięci podręcznej, że obiekt (plik lub katalog) nie istnieje.
Ta opcja pozwala s3fs zapamiętać, że tego .ftpaccessnie było.
Bez związku z problemami z wydajnością, które mogą wystąpić w ProFTPd, które są rozwiązane przez powyższe zmiany, musisz również włączyć -o enable_content_md5w s3fs.
-o enable_content_md5 (domyślnie wyłączone)
weryfikacja przesłanych danych bez multipart by content-md5 header. Włącz wysyłanie nagłówka „Content-MD5” podczas przesyłania obiektu bez przesyłania wieloczęściowego. Jeśli ta opcja jest włączona, ma to pewien wpływ na wydajność s3fs podczas ładowania małego obiektu. Ponieważ s3fs zawsze sprawdza MD5 podczas przesyłania dużego obiektu, ta opcja nie wpływa na duży obiekt.
Jest to opcja, która nigdy nie powinna była być opcją - zawsze powinna być włączona, ponieważ jej brak pomija krytyczne sprawdzenie integralności, co daje jedynie znikomy wpływ na wydajność. Gdy obiekt jest przesyłany do S3 z rozszerzeniemContent-MD5: nagłówkiem, S3 zweryfikuje sumę kontrolną i odrzuci obiekt, jeśli jest uszkodzony podczas . Jakkolwiek jest to mało prawdopodobne, wyłączenie tej kontroli bezpieczeństwa wydaje się krótkowzroczne.
Cytaty pochodzą ze strony podręcznika man s3fs. W oryginalnym tekście występują błędy gramatyczne.