Użycie jq w łańcuchu rur nie daje żadnych wyników

Kwestia jqpotrzeby jawnego filtrowania podczas przekierowywania danych wyjściowych jest omawiana w Internecie. Ale nie jestem w stanie przekierować danych wyjściowych, jeśli jqjest częścią łańcucha potoków, nawet jeśli używany jest filtr jawny.

Rozważać:

touch in.txt
tail -f in.txt | jq '.f1'
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Zgodnie z oczekiwaniami dane wyjściowe w oryginalnym terminalu z jqpolecenia to:

1
3

Ale jeśli dodam jakiekolwiek przekierowanie lub potokowanie na końcu jqpolecenia, dane wyjściowe zostaną wyciszone:

rm in.txt
touch in.txt
tail -f in.txt | jq '.f1' | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Brak danych wyjściowych w pierwszym terminalu i out.txt jest pusty.

Próbowałem setek odmian, ale jest to zagadka nieuchwytna. Jedynym obejściem, jakie znalazłem , jak odkryłem za pomocą mosquitto_subThe Things Network (w którym również odkryłem problem), jest zawinięcie funkcji tail i jq w skrypcie powłoki:

#!/bin/bash
tail -f $1 | while IFS='' read line; do
echo $line | jq '.f1'
done

Następnie:

./tail_and_jq.sh | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

I rzeczywiście, pojawia się wynik:

1
3

Jest to najnowszy jqzainstalowany przez Homebrew:

$ echo $SHELL
/bin/bash
$ jq --version
jq-1.5
$ brew install jq
Warning: jq 1.5_3 is already installed and up-to-date

Czy jest to (w dużej mierze nieudokumentowany) błąd w jqlub z moim rozumieniem łańcuchów rur?

Wyjście z jqjest buforowane, gdy przesyłane jest standardowe wyjście.

Aby zażądać jqopróżnienia bufora wyjściowego po każdym obiekcie, użyj jego --unbufferedopcji, np

tail -f in.txt | jq --unbuffered '.f1' | tee out.txt

Z jqinstrukcji:

--unbuffered

Opróżnij dane wyjściowe po wydrukowaniu każdego obiektu JSON (przydatne, jeśli podłączasz powolne źródło danych do, jqa dane jqwyjściowe w innym miejscu).

To, co tu widzisz, to buforowanie stdio w akcji. Będzie przechowywać dane wyjściowe w buforze, dopóki nie osiągnie określonego limitu (może wynosić 512 bajtów lub 4KB lub więcej), a następnie wyśle ​​je wszystkie naraz.

Buforowanie to wyłącza się automatycznie, jeśli stdout jest podłączony do terminala, ale gdy jest podłączony do potoku (jak w twoim przypadku), włącza to zachowanie buforowania.

Zwykłym sposobem wyłączania / kontrolowania buforowania jest użycie setvbuf()funkcji ( więcej informacji znajduje się w tej odpowiedzi ), ale należy to zrobić w samym kodzie źródłowym jq, więc może nie jest to dla ciebie praktyczne ...

Istnieje obejście ... (włamanie, można powiedzieć.) Istnieje program o nazwie „unbuffer”, który jest dystrybuowany wraz z „expect”, który może stworzyć pseudo-terminal i połączyć go z programem. Tak więc, mimo że jqnadal będzie zapisywać do potoku, pomyśli, że zapisuje do terminala, a efekt buforowania zostanie wyłączony.

Zainstaluj pakiet „expect”, który powinien zawierać „unbuffer”, jeśli jeszcze go nie masz ... Na przykład na Debianie (lub Ubuntu):

$ sudo apt-get install expect

Następnie możesz użyć tego polecenia:

$ tail -f in.txt | unbuffer -p jq '.f1' | tee out.txt

Zobacz także tę odpowiedź, aby uzyskać więcej informacji na temat „unbuffer”, możesz też znaleźć tutaj stronę podręcznika man .