Korzystanie z RSYNC z Amazon S3 [zamknięte]

Jestem zainteresowany wykorzystaniem Amazon S3 do tworzenia kopii zapasowych obrazów naszego serwera ~ 100 GB (utworzonych za pomocą narzędzi do tworzenia kopii zapasowych Acronis)

Oczywiście przesyłanie do S3 każdej nocy byłoby kosztowne, zarówno pod względem przepustowości, jak i kosztów. Zastanawiam się nad użyciem rsync z S3 i natknąłem się na s3rsync. Zastanawiałem się tylko, czy ktoś miał jakieś doświadczenie w korzystaniu z tego lub innego narzędzia?

Niedawno natknąłem się na ten wątek w Google i wygląda na to, że krajobraz nieco się zmienił od czasu zadania pytania. Większość zaproponowanych tutaj rozwiązań nie jest już obsługiwana lub stała się komercyjna.

Po frustracjach związanych z FUSE i innymi dostępnymi rozwiązaniami, zdecydowałem się napisać własny wiersz rsync „klon” dla S3 i Google Storage przy użyciu Pythona.

Możesz sprawdzić projekt na GitHub: http://github.com/seedifferently/boto_rsync

Innym projektem, o którym niedawno dowiedziałem się, jest „dwulicowość”. Wygląda nieco bardziej rozbudowany i można go znaleźć tutaj: http://duplicity.nongnu.org/

Mam nadzieję że to pomoże.

AKTUALIZACJA

Zespół Python z AWS ciężko pracuje nad opartym na boto projektem CLI dla swoich usług w chmurze. Wśród dołączonych narzędzi jest interfejs dla S3, który powiela (i pod wieloma względami zastępuje) większość funkcji udostępnianych przez boto-rsync:

https://github.com/aws/aws-cli

W szczególności syncpolecenie można skonfigurować tak, aby działało prawie dokładnie tak jak rsync:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Miałem też szczęście z S3cmd i S3sync , które są darmowe.

W zależności od tego, jak tworzone są obrazy Acronis, nie jestem pewien, czy jakikolwiek program rsync zaoszczędziłby przepustowość. Obrazy Acronis są pojedynczymi plikami, więc rsync nie byłby w stanie odczytać w nich tylko kopii zapasowej zmian. Nie jestem również pewien, jakie obrazy serwera tworzysz, ale skoro powiedziałeś, że 100 GB, założę, że jest pełny? Obraz przyrostowy znacznie zmniejszyłby nocny rozmiar obrazu, oszczędzając w ten sposób przepustowość. Możesz również rozważyć zapisanie obrazów w alternatywnej lokalizacji niż S3, na przykład na taśmie, i przechowywać je poza witryną.

Nigdy nie próbowałem S3rsync.

Używam duplikatów do tworzenia kopii zapasowych poza witryną. Obsługuje przyrostowe kopie zapasowe na S3, chociaż tak naprawdę nie oszczędza przepustowości ze względu na protokół pamięci Amazon S3, w którym jakakolwiek modyfikacja pliku zmusza do ponownego przesłania całego nowego pliku. W każdym razie duplikat przesyła tylko różnice od ostatniej przyrostowej kopii zapasowej.

Dzięki Duplicity nie będziesz musiał przechodzić przez inny serwer, jak S3sync, jednak jeśli zaszyfrujesz swoje dane, warto spróbować S3sync.

S3 ma również dodatkową usługę o nazwie AWS Import / Export, która pozwala wysłać dysk USB z początkowym zestawem danych 100 Gb i załaduje go do chmury S3 za pomocą narzędzi zaplecza w ich centrach danych. Gdy już znajdziesz 100 Gb, możesz każdej nocy wykonywać kopie zapasowe różnicowe, aby wykonać kopię zapasową wszystkiego, co się zmieniło.

Strona jest http://aws.amazon.com/importexport/

Jeśli większość twoich danych jest dość statyczna, byłaby to dobra opcja, jeśli całe 100 Gb danych zmienia się codziennie, to ci to nie pomoże.

Możesz wypróbować klienta minio, znanego również jako „mc”. mc zapewnia minimalne narzędzia do pracy z systemami pamięci masowej i systemami plików zgodnymi z Amazon S3.

mc implementuje następujące polecenia

  ls        List files and folders.
  mb        Make a bucket or folder.
  cat       Display contents of a file.
  pipe      Write contents of stdin to one or more targets. When no target is specified, it writes to stdout.
  share     Generate URL for sharing.
  cp        Copy one or more objects to a target.
  mirror    Mirror folders recursively from a single source to many destinations.
  diff      Compute differences between two folders.
  rm        Remove file or bucket [WARNING: Use with care].
  access    Manage bucket access permissions.
  session   Manage saved sessions of cp and mirror operations.
  config    Manage configuration file.
  update    Check for a new software update.
  version   Print version.

Możesz użyć polecenia mirror, aby wykonać operację. „localdir” to katalog lokalny i S3 [alias dla Amazon S3] oraz „remoteDir” nazwa twojego segmentu na S3.

$ mc mirror localdir/ S3/remoteDir

Możesz również napisać cronjob dla tego samego. Również w przypadku oburzenia sieci możesz użyć „$ mc session”, aby ponownie rozpocząć przesyłanie od tego określonego czasu.

PS: Wnoszę wkład w projekt minio i chciałbym uzyskać Twoją opinię i wkład. Mam nadzieję, że to pomoże.

Nowa wersja Jungle Disk Server Edition (beta) może Ci się przydać. Ma funkcję usuwania duplikatów na poziomie bloków, więc jeśli obrazy Acronis mają ze sobą coś wspólnego, znacznie zmniejszy to ilość kopii zapasowej. Funkcje są idealne do tworzenia kopii zapasowych serwerów. Sprawdź informacje o wersji.

Testuję wersję beta od dwóch tygodni i oprócz kilku drobnych problemów z GUI, które z pewnością zostaną naprawione w finale, jestem podekscytowany produktem.