Natychmiast zapisz stdout do pliku

Podczas próby zapisania standardowego skryptu ze skryptu w języku Python do pliku tekstowego ( python script.py > log) plik tekstowy jest tworzony po uruchomieniu polecenia, ale rzeczywista zawartość nie jest zapisywana, dopóki skrypt się nie zakończy. Na przykład:

script.py:

import time
for i in range(10):
    print('bla')
    time.sleep(5)

wypisuje na standardowe wyjście co 5 sekund po wywołaniu python script.py, ale kiedy dzwonię python script.py > log, rozmiar pliku dziennika pozostaje zerowy do momentu zakończenia skryptu. Czy jest możliwe bezpośrednie zapisanie do pliku dziennika, abyś mógł śledzić postęp skryptu (np. Używając tail)?

EDYCJA Okazuje się, że to python -u script.pydziała, nie wiedziałem o buforowaniu standardowego wyjścia.

Dzieje się tak, ponieważ normalnie, gdy proces STDOUT jest przekierowywany na coś innego niż terminal, wówczas dane wyjściowe są buforowane w buforze o rozmiarze specyficznym dla systemu operacyjnego (być może 4k lub 8k w wielu przypadkach). I odwrotnie, podczas wysyłania do terminala STDOUT będzie buforowany liniowo lub nie będzie buforowany, więc zobaczysz wynik po \nkażdym znaku lub dla każdego znaku.

Ogólnie można zmienić buforowanie STDOUT za pomocą stdbufnarzędzia:

stdbuf -oL python script.py > log

Teraz, jeśli tail -F logpowinieneś, powinieneś zobaczyć wyjście każdego wiersza natychmiast po jego wygenerowaniu.

Alternatywnie jawne opróżnianie strumienia wyjściowego po każdym wydruku powinno osiągnąć to samo. Wygląda na to, że sys.stdout.flush()powinno to zostać osiągnięte w Pythonie. Jeśli używasz Pythona 3.3 lub nowszy, printfunkcja ma również flushsłowa kluczowego, które wykonuje to: print('hello', flush=True).

To powinno wykonać zadanie:

import time, sys
for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)

Ponieważ Python buforuje stdoutdomyślnie, tutaj użyłem sys.stdout.flush()do opróżnienia bufora.

Innym rozwiązaniem byłoby użycie -u(niebuforowanego) przełącznika python. Tak więc zrobią to również:

python -u script.py >> log

Wariacją na temat używania własnej opcji Pythona dla niebuforowanych danych wyjściowych byłoby użycie #!/usr/bin/python -ujako pierwszego wiersza.

Z #!/usr/bin/env pythontym dodatkowym argumentem nie zadziała, więc alternatywnie można uruchomić PYTHONUNBUFFERED=1 ./my_scriipt.py > output.txtlub zrobić to w dwóch krokach:

$ export PYTHONUNBUFFERED=1
$ ./myscript.py

Powinieneś przejść flush=Truedo printfunkcji:

import time

for i in range(10):
    print('bla', flush=True)
    time.sleep(5)

Zgodnie z dokumentacją domyślnie printnie wymusza niczego na opróżnianie:

To, czy dane wyjściowe są buforowane, jest zwykle określane przez plik, ale jeśli flushargument słowa kluczowego jest prawdziwy, strumień jest wymuszany.

Dokumentacja sysstrumieni mówi:

W trybie interaktywnym standardowe strumienie są buforowane w linii. W przeciwnym razie są buforowane blokowo jak zwykłe pliki tekstowe. Możesz zastąpić tę wartość za pomocą -uopcji wiersza polecenia.

Jeśli utkniesz w starożytnej wersji Pythona, musisz wywołać flushmetodę sys.stdoutstrumienia:

import sys
import time

for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)