Rozważ następujący scenariusz. Mam dwa programy A i B. Program A wyprowadza na standardowe linie ciągów, a program B na linie standardowe ze standardowego wejścia. Oczywiście sposobem na użycie tych dwóch programów jest:

foo @ bar: ~ $ A | b

Teraz zauważyłem, że zjada to tylko jeden rdzeń; stąd zastanawiam się:

Czy programy A i B współużytkują te same zasoby obliczeniowe? Jeśli tak, to czy istnieje sposób na jednoczesne uruchomienie A i B?

Inną rzeczą, którą zauważyłem, jest to, że A działa znacznie szybciej niż B, dlatego zastanawiam się, czy mógłby jakoś uruchomić więcej programów B i pozwolić im przetwarzać linie, które A wyprowadza równolegle.

Oznacza to, że A wypisuje swoje wiersze i byłoby N instancji programów B, które czytałyby te wiersze (ktokolwiek je czyta jako pierwszy) przetwarzałyby je i wypisywały na standardowym wyjściu.

Więc moje ostatnie pytanie brzmi:

Czy istnieje sposób na skierowanie wyjścia do A pomiędzy kilkoma procesami B bez konieczności dbania o warunki wyścigu i inne niespójności, które mogą wystąpić?

Problem split --filterpolega na tym, że dane wyjściowe mogą być pomieszane, więc otrzymujesz pół linii z procesu 1, a następnie pół linii z procesu 2.

GNU Parallel gwarantuje, że nie będzie pomieszania.

Załóż więc, że chcesz:

 A | B | C

Ale to B jest strasznie wolne i dlatego chcesz to zrównoważyć. Następnie możesz zrobić:

A | parallel --pipe B | C

GNU Parallel domyślnie dzieli \ n i wielkość bloku 1 MB. Można to zmienić za pomocą --recend i --block.

Możesz znaleźć więcej informacji na temat GNU Parallel na: http://www.gnu.org/s/parallel/

Możesz zainstalować GNU Parallel w zaledwie 10 sekund za pomocą:

wget -O - pi.dk/3 | sh 

Obejrzyj film wprowadzający na stronie http://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Kiedy piszesz A | B, oba procesy działają już równolegle. Jeśli widzisz, że używają tylko jednego rdzenia, prawdopodobnie wynika to z jednego z ustawień koligacji procesora (być może istnieje jakieś narzędzie do odrodzenia procesu o innym powinowactwie) lub dlatego, że jeden proces nie wystarcza do utrzymania całego rdzenia, a system „ woli „nie rozpowszechniać informatyki.

Aby uruchomić kilka B z jednym A, potrzebujesz narzędzia takiego jak splitz --filteropcją:

A | split [OPTIONS] --filter="B"

Może to jednak popsuć kolejność linii na wyjściu, ponieważ zadania B nie będą działały z tą samą prędkością. Jeśli jest to problem, może być konieczne przekierowanie wyjścia B i-tego do pliku pośredniego i połączenie ich na końcu za pomocą cat. To z kolei może wymagać znacznego miejsca na dysku.

Istnieją inne opcje (np można ograniczyć każdą instancję B do jednego wyjścia liniowego buforowane, poczekaj, aż cała „okrągły” z B zakończy, uruchom odpowiednik zmniejszyć do split„s mapę i catwyjście tymczasowe razem), o różnym poziomie wydajności. Opisana na przykład opcja „round” będzie czekać na zakończenie najwolniejszej instancji B , więc będzie w dużym stopniu zależna od dostępnego buforowania dla B; [m]buffermoże pomóc lub nie, w zależności od operacji.

Przykłady

Wygeneruj pierwsze 1000 liczb i policz linie równolegle:

seq 1 1000 | split -n r/10 -u --filter="wc -l"
100
100
100
100
100
100
100
100
100
100

Gdybyśmy „oznaczyli” linie, zobaczylibyśmy, że każda pierwsza linia jest wysyłana do przetwarzania nr 1, każda piąta linia do przetwarzania nr 5 i tak dalej. Co więcej, w czasie potrzebnym splitna odrodzenie drugiego procesu, pierwszy jest już dobrym sposobem na przydzielenie limitu:

seq 1 1000 | split -n r/10 -u --filter="sed -e 's/^/$RANDOM - /g'" | head -n 10
19190 - 1
19190 - 11
19190 - 21
19190 - 31
19190 - 41
19190 - 51
19190 - 61
19190 - 71
19190 - 81

Podczas wykonywania na maszynie 2-rdzeniowej seq, splita wcprocesy współużytkują rdzenie; ale patrząc bliżej, system pozostawia pierwsze dwa procesy na CPU0 i dzieli CPU1 na procesy robocze:

%Cpu0  : 47.2 us, 13.7 sy,  0.0 ni, 38.1 id,  1.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu1  : 15.8 us, 82.9 sy,  0.0 ni,  1.0 id,  0.0 wa,  0.3 hi,  0.0 si,  0.0 st
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM     TIME+ COMMAND
 5314 lserni    20   0  4516  568  476 R 23.9  0.0   0:03.30 seq
 5315 lserni    20   0  4580  720  608 R 52.5  0.0   0:07.32 split
 5317 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.86 wc
 5318 lserni    20   0  4520  572  484 S 14.0  0.0   0:01.88 wc
 5319 lserni    20   0  4520  576  484 S 13.6  0.0   0:01.88 wc
 5320 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.85 wc
 5321 lserni    20   0  4520  572  484 S 13.3  0.0   0:01.84 wc
 5322 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.86 wc
 5323 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.86 wc
 5324 lserni    20   0  4520  576  484 S 13.3  0.0   0:01.87 wc

Zwróć uwagę, że splitzjada znaczną ilość procesora. Zmniejszy się proporcjonalnie do potrzeb A; tj. jeśli A jest procesem cięższym niż seq, względny narzut splitzmniejszy się. Ale jeśli A jest bardzo lekkim procesem, a B jest dość szybki (tak że nie potrzebujesz więcej niż 2-3 B, aby zachować zgodność z A), wówczas równoległe stosowanie split(lub ogólnie rur) może nie być tego warte.