Unix & Linux gnu-parallel

10

Próbowałem zrównoleglić następujący skrypt, a konkretnie każdą z trzech instancji pętli FOR, używając GNU Parallel, ale nie byłem w stanie. 4 polecenia zawarte w pętli FOR działają szeregowo, każda pętla zajmuje około 10 minut. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for run in $runList do fsl5.0-flirt -in $kar"deformed.nii.gz" -ref …

109 shell-script gnu-parallel

1

GNU równoległe vs i (mam na myśli tło) vs xargs -P

Jestem zdezorientowany co do różnicy lub zalet (jeśli w ogóle) uruchamiania zestawu zadań za .shpomocą skryptuGNU parallel Np. Odpowiedź Ole Tange'a : parallel ./pngout -s0 {} R{} ::: *.png zamiast powiedzieć, że je przewijamy, umieszczając je w tle &. Np. Odpowiedź frostschutza : #copied from the link for illustration for …

40 shell-script background-process xargs gnu-parallel

6

Zrównoleglanie rsync przy użyciu GNU Parallel

Używam rsyncskryptu do synchronizacji danych na jednym hoście z danymi na innym hoście. Dane zawierają wiele małych plików, które przyczyniają się do prawie 1,2 TB. Aby zsynchronizować te pliki, użyłem rsyncpolecenia w następujący sposób: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects REMOTEHOST:/data/ Zawartość proj.lst jest następująca: + proj1 + proj1/* …

18 linux rhel rsync gnu-parallel

6

przy użyciu równoległego przetwarzania unikatowych plików wejściowych do unikatowych plików wyjściowych

Mam problem ze skryptem powłoki, w którym dostaję katalog pełen plików wejściowych (każdy plik zawiera wiele wierszy wejściowych) i muszę przetwarzać je osobno, przekierowując każde z ich wyników do unikalnego pliku (aka, plik_1.input potrzebuje do przechwycenia w pliku_1.output itd.). Przed równolegle , po prostu iterowałbym każdy plik w katalogu i …

18 scripting parallelism gnu-parallel

2

Dlaczego równolegle (GNU?) Nie działa cicho i jak to naprawić?

W większym skrypcie do przetworzenia niektórych danych symulacyjnych miałem następujący wiersz: parallel bnzip2 -- *.bz2 Co, jeśli dobrze rozumiem parallel(a może nie rozumiem ), powinno uruchamiać n-rdzeniowe wątki programu na wszystkich plikach z wymienionym rozszerzeniem. Możesz zauważyć, że źle napisałem polecenie bunzip2. Spodziewałbym się tutaj ostrzeżenia lub komunikatu o błędzie, …

15 gnu-parallel moreutils-parallel

3

Jak miałbym używać GNU Parallel do tej pętli while?

Mam więc pętlę while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Ale może to zająć dużo czasu. Jak miałbym używać GNU Parallel do tej pętli while?

12 shell-script files gnu-parallel

1

Dlaczego GNU równolegle nie działa z „bash -c”?

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Spodziewałbym się, że druga linia zachowa się tak samo.

9 bash shell quoting gnu-parallel

4

Używanie GNU Parallel z Splitem

Ładuję dość gigantyczny plik do bazy danych postgresql. Aby to zrobić, najpierw używam splitw pliku, aby uzyskać mniejsze pliki (30 Gb każdy), a następnie ładuję każdy mniejszy plik do bazy danych za pomocą GNU Paralleli psql copy. Problem polega na tym, że dzielenie pliku zajmuje około 7 godzin, a następnie …

9 files split gnu-parallel

Pytania otagowane jako gnu-parallel