Jak mogę ograniczyć przepustowość wykorzystywaną przez proces?

Mam serwer CentOS 5.7, który co wieczór tworzy kopie zapasowe swoich plików. Obawiam się, że osoby odwiedzające różne witryny hostowane przez serwer odczują obniżoną wydajność podczas przesyłania kopii zapasowej przez sieć.

Czy można ograniczyć maksymalną dozwoloną przepustowość procesu do interfejsu sieciowego? Chciałbym ograniczyć transfer plików oparty na SSH do połowy dostępnej przepustowości. Może to być po stronie serwera lub klienta; to znaczy, chętnie to zrobię na kliencie, który inicjuje połączenie lub na serwerze, który odbiera połączenie.

_{(Niestety nie mogę dodać interfejsu do tworzenia kopii zapasowych. Mógłbym zwiększyć moją dostępną przepustowość, ale to tylko oznaczałoby, że transfer sieciowy zostałby ukończony szybciej, ale nadal maksymalizowałby całkowitą pojemność połączenia podczas jego wykonywania.)}

Niektóre tło

Być może pewne tło jest w porządku. Cofając się, miałem problem z brakiem wystarczającej ilości miejsca lokalnego do utworzenia kopii zapasowej. Wpisz SSHFS! Kopia zapasowa jest zapisywana na czymś, co jest pozornie dyskiem lokalnym, dzięki czemu na samym serwerze sieciowym nie ma żadnych bitów kopii zapasowej.

Dlaczego to takie ważne? Ponieważ to wydaje się unieważniać użycie czcigodnego rsync --bwlimit. rsynctak naprawdę nie wykonuje transferu ani nie może , ponieważ nie mogę nawet zaoszczędzić miejsca na zapisanie pliku kopii zapasowej.

Słyszę, jak pytasz: „Więc czekaj, dlaczego w ogóle potrzebujesz zrobić kopię zapasową? Dlaczego nie tylko rsyncpliki źródłowe i foldery?” Ponieważ denerwująca rzecz o nazwie „Plesk” jest w miksie! To jest mój internetowy klient, który korzysta z Plesk dla wygody. Jako taki używam Plesk do inicjowania kopii zapasowych, ponieważ Plesk dodaje do kopii zapasowej wszelkiego rodzaju dodatkową magię, która sprawia, że ​​korzystanie z niej podczas procedury przywracania jest bardzo bezpieczne.

smutna mina

Możesz użyć iptablesdo oznaczenia pakietu (--pid-owner ...), a następnie użyć tcdo ukształtowania ruchu. Można także użyć parametru „--sid-owner”, aby uwzględnić wątki i elementy potomne tego procesu.

http://www.frozentux.net/iptables-tutorial/iptables-tutorial.html#OWNERMATCH

Dopasuj - pid-owner
Jądro 2.3, 2.4, 2.5 i 2.6
Przykład iptables -A WYJŚCIE -m właściciel --pid-owner 78
Objaśnienie To dopasowanie służy do dopasowywania pakietów na podstawie identyfikatora procesu (PID), który był za nie odpowiedzialny. To dopasowanie jest nieco trudniejsze w użyciu, ale jednym z przykładów byłoby jedynie zezwolenie PID 94 na wysyłanie pakietów z portu HTTP (jeśli proces HTTP nie jest wątkowy, oczywiście). Alternatywnie możemy napisać mały skrypt, który pobiera PID z wyjścia ps dla określonego demona, a następnie dodaje dla niego regułę. Na przykład możesz mieć regułę pokazaną w przykładzie Pid-owner.txt

Jedną z właśnie odkrytych przeze mnie opcji jest użycie strużki .

Lichot to przenośny, lekki model do kształtowania przepustowości przestrzeni użytkownika. Może działać w trybie współpracy (wraz ze spuszczaniem) lub w trybie samodzielnym.

trickle działa, korzystając z wstępnego ładowania modułu ładującego unix. Zasadniczo zapewnia aplikacji nową wersję funkcjonalności wymaganej do wysyłania i odbierania danych przez gniazda. Następnie ogranicza ruch oparty na opóźnieniu wysyłania i odbierania danych przez gniazdo. trickle działa całkowicie w przestrzeni użytkownika i nie wymaga uprawnień roota.

Jeśli możesz pisać na potoku (lub standardowym wyjściu), możesz zainstalować pvkomendę (przeglądarka potoków). Pierwotnie został napisany, aby wyświetlać postęp danych przesyłanych przez potok.

tar cvf - /files/to/backup | pv -L 512k > /your/file/on/sshfs

   -L RATE, --rate-limit RATE
          Limit the transfer to a maximum of RATE  bytes  per  second.   A
          suffix of "k", "m", "g", or "t" can be added to denote kilobytes
          (*1024), megabytes, and so on.

Używam rsync z opcją --bwlimit = KBPS z tego samego powodu.

Nasza sieć Ethernet 1 Gbit jest w stanie łatwo zalać nasz stary SCSI320 DAS RAID, a w zasadzie DOS to niektóre nasze starsze urządzenia produkcyjne, które korzystają z niego w sklepach NFS.

Jak przenosisz dane? (rsync over ssh? scp? sftp? coś innego?)

rsync pozwoli ci ograniczyć przepustowość (zobacz opcję --bwlimit = KBPS). rsync -e ssh --bwlimit ..

Alternatywnie, możesz ustawić qdisc lub ekwiwalent, aby zrobić fantazyjne ograniczenie tempa, ale podejrzewam, że w twoim przypadku byłaby to poważna przesada. Dokumentacja na ten temat jest dostępna w Linux Advanced Routing and Traffic Control HOWTO