Jak ograniczyć wykorzystanie zasobów, aby zaoszczędzić procesor + pamięć RAM dla określonego procesu?

25

Mam serwer deweloperski, na którym sshdczasami przestaje działać, ponieważ w maszynie brakuje pamięci RAM. Tak, kończy nam się pamięć i aktualizacja nie jest obecnie realnym wyborem. Chcę powiedzieć maszynie: „Rób, co chcesz, ale pomiń 20 MB i trochę procesora sshd!”.

Jak można to zrobić?

performance limit

— phunehehe
źródło

Sshd nie powinien tak wybuchać, zwykle jest to bardzo dobrze zachowujący się demon. Upewnij się, że jest zaktualizowany do najnowszej / najlepszej. Co ty z tym robisz? Czy przesyłacie przez nią masowe dane?

— Marcin

2

@Marcin Nie sądzę, że robię coś dużego, edycja tekstu. Nawet jeśli sshdjest dobrze wychowany, myślę, że utknąłby, gdyby nie było wystarczającej ilości procesora / pamięci RAM do użycia, prawda?

— phunehehe

Kiedy linuxowi zabraknie pamięci, zaczyna zabijać procesy w celu odzyskania pamięci. Być może widzisz OOM w akcji (zabójca pamięci). Nie wiem jednak, dlaczego miałby konsekwentnie zabijać twój sshd. Czy kiedykolwiek widziałeś, jak sshd przecieka (powiększa się) okropnie, zanim wybuchnie, czy też działa dobrze w jednej chwili i jest martwy w następnej?

— Marcin

@Marcin ma szanse, że jeśli jest OOM, system jest tak bardzo obciążony, że sshd po prostu nie może odpowiedzieć, to nie jest problem sshd, ale problem z jego obciążeniem. Niestety nie znam odpowiedzi na to pytanie.

— Xenoterracide

@phunehehe jesteś pewien, że problemem jest brak pamięci dla ssh, a nie twój ładunek jest przez dach? czy sshd daje jakieś błędy? jakie jest obciążenie pudełka? i co powoduje brak pamięci w systemie.

— Xenoterracide

9

Prawdopodobnie można coś takiego osiągnąć, używając cgroups z kontrolerem zasobów pamięci .

Sądzę, że umieściłbyś wszystkie swoje zadania zajmujące zasoby w ograniczonym zakresie (procesor i pamięć RAM) cgroupi pozostawiłeś sshd„na zewnątrz”, aby nie było ograniczone.

(Dodanie większej ilości wymiany, nawet w postaci pliku wymiany, może być jednak dobrą opcją).

— Mata
źródło

Wciąż się waham, nie wygląda to łatwo (zepsute przez Ubuntu).

— phunehehe

och, to z pewnością nie jest łatwe :-) Dodawanie zamiany jest zdecydowanie łatwiejsze.

— Mat

@phunehehe Zapraszamy do bycia administratorem Sys, to nie jest łatwe. Ale teraz musisz nauczyć się, jak nie robić łatwych rzeczy.

— ksenoterracid

6

Och, ale cgroups są łatwe :) Zainstaluj pakiet libcgroup. Utwórz plik /etc/cgconfig.conf:

mount {
    cpu     = /cgroup/cpu_and_mem;
    cpuacct = /cgroup/cpu_and_mem;
    memory  = /cgroup/cpu_and_mem;
}

group sshd {
        cpu {
                cpu.shares="500";
        }
        cpuacct {
                cpuacct.usage="0";
        }
        memory {
                memory.limit_in_bytes="1G";
        }
}

group nosshd {
        cpu {
                cpu.shares="500";
        }
        cpuacct {
                cpuacct.usage="0";
        }
        memory {
                memory.limit_in_bytes="1G";
        }
}

Rozpocznij cgconfigproces, który utworzy hierarchię, cgroups i ustawi ograniczenia. Jeśli to się powiedzie, masz dwie grupy, z których każda ma przypisane 50% CPU i 1G dostępnej pamięci (nie wiem, jaka jest twoja rzeczywista ilość dostępnej pamięci; zakładając, że w tym przykładzie jest to 2G). Teraz wystarczy przenieść wszystkie zadania (tj. Wszystkie procesy uruchomione w systemie) z grupy głównej do grupy nosshd:

cgroup]# cat tasks >> nosshd/tasks
cgroup]# echo > tasks

Następnie wystarczy pobrać PID sshdprocesu i przenieść go do pliku zadań sshd:

cgroup]# echo $PID >> sshd/tasks

Ta-da, gotowe. Teraz możesz mieć pewność, że sshd będzie zawsze mieć 50% procesora i 1G pamięci.

— mart1n
źródło

1

Użyj, reniceaby uzyskać wyższy priorytet sshdlub sprawdzić księgowość. (acct) -> dzięki temu możesz ustawić zasoby dla użytkowników, więc uruchom sshd z s

— MSpike
źródło

Dodałbym ionicedo tego i prawdopodobnie zacznę od sshd z przyjemnością, że później go nie przerabiam.

— Xenoterracide

1

Bardziej ogólnym rozwiązaniem problemu wykorzystania zasobów aplikacji jest uruchamianie aplikacji w kontenerze za pomocą Dockera . Następnie można uruchamiać kontenery z limitami wykorzystania procesora i pamięci podobnymi do cgroups.

docker run -c=10 -m=1g my-container

— Sean Fujiwara
źródło