Robię rozproszoną pracę z serwerami w chmurze RackSpace i używam bittorrent do dystrybucji moich plików. Działa zaskakująco dobrze. Jednak sama dystrybucja plików torrent nie jest tak przyjemna. Jak byś to robił? W tej chwili po prostu scpuję pliki torrentów na serwery i oczywiście mógłbym napisać skrypt, który skopiuje je na sqrt(n)serwery, instruując każdy z nich, aby ponownie skopiował, sqrt(n)ale to pita, żeby to zadziałało.
Odpowiedzi:
Nie wiedząc, na czym dokładnie polega twój problem, mogę polecić pscpz równoległego ssh jako narzędzia do przesyłania małych plików na wiele serwerów.
Przygotowujesz listę serwerów, na które chcesz przesłać, i wiesz, co zabrać lokalnie i gdzie umieścić ją zdalnie. Na przykład:
$ pscp -h list-of-servers file.torrent /tmp/
[1] 02:11:22 [SUCCESS] 10.0.0.21
[2] 02:11:22 [SUCCESS] 10.0.0.20
[3] 02:11:22 [SUCCESS] 10.0.0.45
[4] 02:11:22 [SUCCESS] 10.0.0.19
[5] 02:11:22 [SUCCESS] 10.0.0.2
[6] 02:11:22 [SUCCESS] 10.0.0.5
[7] 02:11:25 [FAILURE] 10.0.0.3 Exited with error code 1
Biorąc pod uwagę, że są to bardzo małe pliki, zwykle nie można po prostu mieć „skrzynki odbiorczej” przy użyciu protokołu HTTP ze skroniowym skryptem wykonującym curl / wget z użyciem symboli wieloznacznych?
Możesz poprosić klientów torrenta, aby sprawdzili kanał RSS pod kątem nowych plików torrent lub przełączyli się na linki magnetyczne zamiast plików torrent.
Możesz zajrzeć do morderstwa
Murder to metoda wykorzystywania Bittorrenta do dystrybucji plików na dużą liczbę serwerów w środowisku produkcyjnym. Pozwala to na skalowalne i szybkie wdrażanie w środowiskach od setek do dziesiątek tysięcy serwerów, gdzie scentralizowane systemy dystrybucji inaczej nie działałyby
.
Morderstwo zostało opracowane przez ludzi z Twittera i używają go codziennie do dystrybucji plików.