/etc/security/limits.conf miękki limit nproc wydaje się być ignorowany

Moja baza danych MongoDB napotkała problemy pod obciążeniem, z następującymi błędami spamującymi dzienniki:

[initandlisten] pthread_create failed: errno:11 Resource temporarily unavailable
[initandlisten] can't create new thread, closing connection

Doszedłem do wniosku, że muszę podnieść ustawienie „ulimit -u” lub „Max procesy”, które wynosiły 1024, a użycie mogło przekroczyć to, biorąc pod uwagę uruchomione nakładki sieciowe (nie jestem pewien, jak to sprawdzić) .

Edytowałem /etc/security/limits.conf, aby dodać ostatnie dwa wiersze (pierwsze dwa już tam były):

*                soft    nofile          350000
*                hard    nofile          350000
*                soft    nproc           30000
*                hard    nproc           30000

Następnie zrestartowałem system (BTW powinienem to zrobić, czy może wystarczy restart usługi mongod?)

Po ponownym uruchomieniu, przeglądając limity procesu dla procesu mongod, wydaje się, że miękki limit został zignorowany:

$ cat /proc/2207/limits
Limit                     Soft Limit           Hard Limit           Units
Max cpu time              unlimited            unlimited            seconds
Max file size             unlimited            unlimited            bytes
Max data size             unlimited            unlimited            bytes
Max stack size            8388608              unlimited            bytes
Max core file size        0                    unlimited            bytes
Max resident set          unlimited            unlimited            bytes
Max processes             1024                 30000                processes
Max open files            350000               350000               files
Max locked memory         65536                65536                bytes
Max address space         unlimited            unlimited            bytes
Max file locks            unlimited            unlimited            locks
Max pending signals       273757               273757               signals
Max msgqueue size         819200               819200               bytes
Max nice priority         0                    0
Max realtime priority     0                    0
Max realtime timeout      unlimited            unlimited            us

$ whoami
mongod


$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 273757
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 350000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Spodziewałem się, że „maksymalne procesy” zarówno twardych, jak i miękkich limitów będą wynosić 30000, jak w pliku /etc/security/limits.conf, ale tylko trudny.

Co ja robię źle?

Używam Amazon Linux na AWS EC2.

bash-4.1$ cat /etc/*-release
Amazon Linux AMI release 2012.09

— John M.
źródło

Zajrzyj do /etc/security/conf.d/? Czasami jest tam plik, który przesłania to, co jest ustawione w main limit.conf.

— dmourati

dmourati, dzięki, miałeś rację (tak samo jak Scott Mcinyre).

— John M,

Sprawdź plik /etc/security/limits.d/90-nproc.conf, ponieważ prawdopodobnie przesłania to twoje ustawienia. O tym samym problemie pisałem w zeszłym roku http://scott.cm/max-processes-1024-limits-conf/

— Scott Mcintyre
źródło

Dzięki, wydaje się, że to już koniec. Czy możesz mi również powiedzieć, czy samo ponowne uruchomienie procesu „mongod” powinno wystarczyć do odczytania nowych ustawień?

— John M,

Tak, kiedy zmienisz limit, wszystko, co musisz zrobić, to zrestartować proces mongod, a on odczyta nowe limity.

— Scott Mcintyre,

Dzięki, że to zadziałało, oba limity wynoszą teraz 30000. Bardzo dziękuję za pomoc, Scott!

— John M

Zamiast edytować plik systemowy, zalecam utworzenie pliku, /etc/security/limits.d/który zaczyna się od 99_local(aby pokazać, że go utworzyłeś) i zastępuje tam wszystko, co chcesz.

— Alastair Irvine

Możesz spróbować zmienić wartość ulimit na początku skryptu, który uruchamia bazę danych mongodb.

Proces potomny dziedziczy limity zasobów po procesie wywołującym.

— Gooseman
źródło

Chciałbym zmienić wartość globalną. Działa dla „nofile” i dla twardego limitu dla „nproc”, ale nie dla miękkiego limitu dla „nproc”.

— John M,