Jak stworzyć demona w Pythonie?

Wyszukiwanie w Google ujawnia fragmenty kodu x2. Pierwszym rezultatem jest przepis na ten kod, który zawiera wiele dokumentacji i wyjaśnień, a także kilka przydatnych dyskusji.

Jednak inny przykładowy kod , choć nie zawiera tak dużej dokumentacji, zawiera przykładowy kod do przekazywania poleceń, takich jak start, stop i restart. Tworzy również plik PID, który może być przydatny do sprawdzania, czy demon już działa itp.

Te przykłady wyjaśniają, jak utworzyć demona. Czy są jakieś dodatkowe rzeczy, które należy wziąć pod uwagę? Czy jedna próbka jest lepsza od drugiej i dlaczego?

Aktualne rozwiązanie

Referencyjna implementacja PEP 3143 (biblioteka procesów demona standardowego) jest teraz dostępna jako demon python .

Odpowiedź historyczna

Próbka kodu Sandera Marechala jest lepsza od oryginału, który został pierwotnie opublikowany w 2004 roku. Kiedyś napisałem demonizator dla Pyro, ale prawdopodobnie użyłbym kodu Sandera, gdybym musiał to zrobić.

Jest wiele dziwacznych rzeczy, którymi należy się zająć, kiedy zostajesz dobrze zachowanym procesem demona, :

• zapobiegaj zrzutom rdzenia (wiele demonów działa jako root, a zrzuty rdzenia mogą zawierać poufne informacje)

• zachowuj się poprawnie wewnątrz chroot więzieniu

• ustaw UID, GID, katalog roboczy, umask i inne parametry procesu odpowiednio dla przypadku użycia

• zrezygnować z podwyższonego suid,sgid przywileje

• zamknij wszystkie otwarte deskryptory plików, z wykluczeniami zależnymi od przypadku użycia

• zachowują się poprawnie, jeśli zostały uruchomione w już odłączonym kontekście, takim jak init,inetd itp

• skonfiguruj procedury obsługi sygnałów dla rozsądnego zachowania demona, ale także z konkretnymi procedurami obsługi określonymi przez przypadek użycia

• przekierować standardowe strumienie stdin, stdout,stderr ponieważ proces demon nie ma już terminal sterujący

• obsługiwać plik PID jako blokadę doradczą kooperacji, która sama w sobie jest puszką robaków z wieloma sprzecznymi, ale poprawnymi sposobami zachowania

• umożliwiają prawidłowe czyszczenie po zakończeniu procesu

• faktycznie stają się procesem demona, nie prowadząc do zombie

Niektóre z nich są standardowe , jak opisano w literaturze kanonicznej Unixa ( Advanced Programming in the UNIX Environment , autorstwa nieżyjącego W. Richarda Stevensa, Addison-Wesley, 1992). Inne, takie jak przekierowanie strumienia i obsługa plików PID , są typowymi zachowaniami większość użytkowników demonów oczekiwałaby, ale są mniej znormalizowane.

Wszystkie są objęte specyfikacją „Standardowa biblioteka procesów demona” PEP 3143 . Python-demon implementacja referencyjna działa na Python 2.7 lub nowsza oraz Python 3.2 lub nowszy.

Oto mój podstawowy demon Python „Howdy World”, od którego zaczynam, gdy tworzę nową aplikację demona.

#!/usr/bin/python
import time
from daemon import runner

class App():
    def __init__(self):
        self.stdin_path = '/dev/null'
        self.stdout_path = '/dev/tty'
        self.stderr_path = '/dev/tty'
        self.pidfile_path =  '/tmp/foo.pid'
        self.pidfile_timeout = 5
    def run(self):
        while True:
            print("Howdy!  Gig'em!  Whoop!")
            time.sleep(10)

app = App()
daemon_runner = runner.DaemonRunner(app)
daemon_runner.do_action()

Pamiętaj, że będziesz potrzebować python-daemonbiblioteki. Możesz go zainstalować:

pip install python-daemon

Następnie po prostu zacznij od ./howdy.py starti przestań ./howdy.py stop.

Zwróć uwagę na demona python pakiet , który rozwiązuje wiele problemów związanych z demonami po wyjęciu z pudełka.

Oprócz innych funkcji umożliwia (z opisu pakietu Debian):

• Odłącz proces do własnej grupy procesów.
• Ustaw środowisko procesu odpowiednie do działania w chroot.
• Zrezygnuj z uprawnień suid i sgid.
• Zamknij wszystkie otwarte deskryptory plików.
• Zmień katalog roboczy, uid, gid i umask.
• Ustaw odpowiednie procedury obsługi sygnałów.
• Otwórz nowe deskryptory plików dla stdin, stdout i stderr.
• Zarządzaj określonym plikiem blokady PID.
• Zarejestruj funkcje czyszczenia dla przetwarzania przy wyjściu.

Alternatywą - stworzyć normalny, nie daemonized programu Pythona następnie zewnętrznie daemonize go za pomocą supervisord . Może to zaoszczędzić wiele problemów i jest przenośne * nix i język.

Prawdopodobnie nie jest to bezpośrednia odpowiedź na pytanie, ale systemd może służyć do uruchamiania aplikacji jako demona. Oto przykład:

[Unit]
Description=Python daemon
After=syslog.target
After=network.target

[Service]
Type=simple
User=<run as user>
Group=<run as group group>
ExecStart=/usr/bin/python <python script home>/script.py

# Give the script some time to startup
TimeoutSec=300

[Install]
WantedBy=multi-user.target

Wolę tę metodę, ponieważ wiele pracy jest dla Ciebie wykonane, a następnie skrypt demona zachowuje się podobnie jak reszta systemu.

-Lub przez

YapDi to stosunkowo nowy moduł Pythona, który pojawił się w Hacker News. Wygląda całkiem przydatnie, można go użyć do przekonwertowania skryptu Pythona na tryb demona z poziomu skryptu.

ponieważ python-demon nie obsługuje jeszcze Pythona 3.x iz tego, co można przeczytać na liście mailingowej, może nigdy nie będzie, napisałem nową implementację PEP 3143: pep3143daemon

pep3143daemon powinien obsługiwać co najmniej Python 2.6, 2.7 i 3.x

Zawiera także klasę PidFile.

Biblioteka zależy tylko od biblioteki standardowej i od modułu sześciu.

Może być używany jako kropla zastępująca demona python.

Oto dokumentacja .

Ta funkcja przekształci aplikację w demona:

import sys
import os

def daemonize():
    try:
        pid = os.fork()
        if pid > 0:
            # exit first parent
            sys.exit(0)
    except OSError as err:
        sys.stderr.write('_Fork #1 failed: {0}\n'.format(err))
        sys.exit(1)
    # decouple from parent environment
    os.chdir('/')
    os.setsid()
    os.umask(0)
    # do second fork
    try:
        pid = os.fork()
        if pid > 0:
            # exit from second parent
            sys.exit(0)
    except OSError as err:
        sys.stderr.write('_Fork #2 failed: {0}\n'.format(err))
        sys.exit(1)
    # redirect standard file descriptors
    sys.stdout.flush()
    sys.stderr.flush()
    si = open(os.devnull, 'r')
    so = open(os.devnull, 'w')
    se = open(os.devnull, 'w')
    os.dup2(si.fileno(), sys.stdin.fileno())
    os.dup2(so.fileno(), sys.stdout.fileno())
    os.dup2(se.fileno(), sys.stderr.fileno())

Obawiam się, że moduł demona wspomniany przez @Dustin nie działał dla mnie. Zamiast tego zainstalowałem demona python i użyłem następującego kodu:

# filename myDaemon.py
import sys
import daemon
sys.path.append('/home/ubuntu/samplemodule') # till __init__.py
from samplemodule import moduleclass 

with daemon.DaemonContext():
    moduleclass.do_running() # I have do_running() function and whatever I was doing in __main__() in module.py I copied in it.

Bieganie jest łatwe

> python myDaemon.py

dla kompletności tutaj jest zawartość katalogu samplemodule

>ls samplemodule
__init__.py __init__.pyc moduleclass.py

Zawartość pliku moduleclass.py może być

class moduleclass():
    ...

def do_running():
    m = moduleclass()
    # do whatever daemon is required to do.

Jeszcze jedna rzecz do przemyślenia podczas demonizacji w pythonie:

Jeśli używasz rejestrowania w języku Python i chcesz kontynuować korzystanie z niego po demonizacji, pamiętaj o wywołaniu programów close()obsługi (w szczególności programów do obsługi plików).

Jeśli tego nie zrobisz, program obsługi może nadal myśleć, że ma otwarte pliki, a twoje wiadomości po prostu znikną - innymi słowy upewnij się, że program rejestrujący wie, że jego pliki są zamknięte!

Zakłada się, że kiedy demonizujesz, zamykasz WSZYSTKIE otwarte deskryptory plików bez rozróżnienia - zamiast tego możesz spróbować zamknąć wszystkie pliki oprócz plików dziennika (ale zwykle łatwiej jest zamknąć wszystkie, a następnie ponownie otworzyć te, które chcesz).

Chociaż możesz preferować czyste rozwiązanie Python dostarczane przez moduł python-daemon, istnieje daemon(3)funkcja w libc- przynajmniej na BSD i Linux - która zrobi to dobrze.

Wywołanie go z Pythona jest łatwe:

import ctypes

ctypes.CDLL(None).daemon(0, 0) # Read the man-page for the arguments' meanings

Jedyne, co pozostaje do zrobienia, to utworzenie (i zablokowanie) pliku PID. Ale że sobie poradzisz ...

Zmodyfikowałem kilka wierszy w przykładzie kodu Sandera Marechala (wspomnianym przez @JeffBauer w zaakceptowanej odpowiedzi ), aby dodaćquit() metodę, która zostanie wykonana przed zatrzymaniem demona. Czasami jest to bardzo przydatne.

Oto jest.

Uwaga: nie używam modułu „python-demon”, ponieważ dokumentacja wciąż brakuje (patrz także wiele innych pytań SO) i jest raczej niejasna (jak poprawnie uruchomić / zatrzymać demona z wiersza poleceń za pomocą tego modułu?)

Po kilku latach i wielu próbach (wypróbowałem wszystkie podane tutaj odpowiedzi, ale wszystkie miały drobne wady), teraz zdaję sobie sprawę, że istnieje lepszy sposób niż rozpoczęcie, zatrzymanie, zrestartowanie demona bezpośrednio z Pythona : zamiast tego użyj narzędzi systemu operacyjnego.

Na przykład w przypadku systemu Linux zamiast robić python myapp starti python myapp stoprobię to, aby uruchomić aplikację:

screen -S myapp python myapp.py    
CTRL+A, D to detach

lub screen -dmS myapp python myapp.pydo rozpoczęcia i odłączyć go w jednej komendzie .

Następnie:

screen -r myapp

podłączyć ponownie do tego terminala. W terminalu można użyć CTRL + C, aby go zatrzymać.

Najłatwiejszym sposobem utworzenia demona za pomocą Pythona jest użycie frameworku Twisted sterowanego zdarzeniami. Obsługuje wszystkie rzeczy niezbędne do demonizacji. Używa Wzorca Reaktora do obsługi równoczesnych żądań.

W 80% przypadków ludzie mówią „demon”, chcą tylko serwera. Ponieważ pytanie w tej kwestii jest całkowicie niejasne, trudno powiedzieć, jaka może być domena odpowiedzi. Ponieważ serwer jest wystarczający, zacznij od tego. Jeśli rzeczywiście potrzebny jest „demon” (jest to rzadki przypadek), czytaj dalejnohup przypadek jako sposób na demonizację serwera.

Do czasu, gdy rzeczywisty demon jest rzeczywiście wymagany, po prostu napisz prosty serwer.

Zobacz także implementację referencyjną WSGI .

Zobacz także Simple HTTP Server .

„Czy są jakieś dodatkowe rzeczy, które należy wziąć pod uwagę?” Tak. Około miliona rzeczy. Jaki protokół? Ile żądań? Jak długo obsługiwać każde żądanie? Jak często będą przyjeżdżać? Czy zastosujesz dedykowany proces? Wątki Podprocesy? Pisanie demona to duże zadanie.