Chcę uruchomić wiele skryptów powłoki Bash równolegle. Chcę jednak uniknąć warunków wyścigowych. Jakie polecenia uniksowe są naprawdę atomowe, których mógłbym użyć do tego celu i jak ich używać?
Chcę uruchomić wiele skryptów powłoki Bash równolegle. Chcę jednak uniknąć warunków wyścigowych. Jakie polecenia uniksowe są naprawdę atomowe, których mógłbym użyć do tego celu i jak ich używać?
Odpowiedzi:
Jeśli lockfile
nie jest zainstalowany w systemie, mkdir
wykona pracę: jest to operacja atomowa i kończy się niepowodzeniem, jeśli katalog już istnieje (o ile nie dodasz -p
przełącznika wiersza polecenia).
create_lock_or_wait () {
path="$1"
wait_time="${2:-10}"
while true; do
if mkdir "${path}.lock.d"; then
break;
fi
sleep $wait_time
done
}
remove_lock () {
path="$1"
rmdir "${path}.lock.d"
}
#!/bin/bash
# Makes sure we exit if flock fails.
set -e
(
# Wait for lock on /var/lock/.myscript.exclusivelock (fd 200) for 10 seconds
flock -x -w 10 200
# Do stuff
) 200>/var/lock/.myscript.exclusivelock
Zapewnia to, że kod między „(” a „)” jest uruchamiany tylko przez jeden proces na raz i że proces zbyt długo czeka na blokadę.
lockf(1)
.
lockf(1)
nie działa jednak tak, jak w tym przykładzie. Nie może przyjmować numeru deskryptora pliku jako argumentu.
lockfile (1) wygląda na dobrego kandydata, choć uważaj, że jest on częścią pakietu procmail , którego być może jeszcze nie zainstalowałeś na swoim komputerze. Jest to wystarczająco popularny pakiet, który powinien zostać spakowany dla twojego systemu, jeśli nie jest jeszcze zainstalowany. Trzy z czterech sprawdzonych systemów mają go, a drugi ma go dostępny.
Korzystanie z niego jest proste:
#!/bin/sh
LOCKFILE=$HOME/.myscript/lock
mkdir -p `dirname $LOCKFILE`
echo Waiting for lock $LOCKFILE...
if lockfile -1 -r15 $LOCKFILE
then
# Do protected stuff here
echo Doing protected stuff...
# Then, afterward, clean up so another instance of this script can run
rm -f $LOCKFILE
else
echo "Failed to acquire lock! lockfile(1) returned $?"
exit 1
fi
Opcje, które podałem, sprawiają, że ponawia próbę co sekundę przez maksymalnie 15 sekund. Opuść flagę „-r”, jeśli chcesz czekać wiecznie.
Wywołanie systemowe mkdir()
jest atomowe w systemach plików POSIX. Zatem użycie mkdir
polecenia w taki sposób, aby mkdir()
wymagało dokładnie jednego połączenia, aby osiągnąć cel. (IOW, nie używaj mkdir -p
). Odpowiednie odblokowanie jest rmdir
oczywiście.
Zastrzeżenie emptor: mkdir()
może nie być atomowy w sieciowych systemach plików.
rmdir
zatem również atomowy?
Może polecenie lockfile zrobi to, czego potrzebujesz.
lockfile ~/.config/mylockfile.lock
.....
rm -f important.lock
Jeśli używasz tylko Uniksa, użyj fifos. Możesz zapisać rekordy pracy do fifo i odczytać procesy z tego pliku, a twoi czytelnicy będą blokować na fifo.
Zablokuj pliki są w porządku, ale dla tego, co opisujesz, wybrałbym z fifos
Jak napisano tutaj: „ Prawidłowe blokowanie w skryptach powłoki? ”, Używając narzędzia FLOM (Free LOck Manager) , serializowanie poleceń i skryptów powłoki staje się tak proste, jak uruchamianie
flom -- command_to_serialize
FLOM pozwala na implementację bardziej skomplikowanych przypadków użycia (blokowanie rozproszone, czytniki / zapisy, zasoby numeryczne itp.), Jak wyjaśniono tutaj: http://sourceforge.net/p/flom/wiki/FLOM%20by%20examples/
make(1)
przejęcie równoległości ? (tj. zrobić,make -j 9
jeśli masz 8 rdzeni)? Ma to dodatkową zaletę polegającą na przeplataniu z większą dokładnością.