Pytania otagowane jako parallelism

Wykonywanie zadań równolegle, aby korzystać z wielu procesorów

1
Jak mogę uzyskać indeks „procesora równoległego” xargs?
Załóżmy, że mam dwa zasoby, o nazwie 0i 1, do których można uzyskać dostęp wyłącznie. Czy jest jakiś sposób na odzyskanie „indeksu” „procesora równoległego”, który xargsuruchamia się w celu wykorzystania go jako bezpłatnej usługi wzajemnego wykluczania? Np. Rozważ następujące obliczenia równoległe: $ echo {1..8} | xargs -d " " -P …
9
Rozłożenie standardowego na równoległe procesy
Mam zadanie, które przetwarza listę plików na stdin. Czas uruchamiania programu jest znaczny, a ilość czasu, jaką zajmuje każdy plik, jest bardzo różna. Chcę odrodzić znaczną liczbę tych procesów, a następnie wysłać pracę do tych, które nie są zajęte. Istnieje kilka różnych narzędzi wiersza polecenia, które prawie robią to, co …
4
Tworzenie pojedynczego strumienia wyjściowego z trzech innych strumieni wytwarzanych równolegle
Mam trzy rodzaje danych, które są w różnych formatach; dla każdego typu danych istnieje skrypt w języku Python, który przekształca go w pojedynczy zunifikowany format. Ten skrypt w języku Python jest powolny i związany z procesorem (z jednym rdzeniem na komputerze wielordzeniowym), dlatego chcę uruchomić trzy jego wystąpienia - po …
1
Używanie tylko jednego rdzenia procesora
Muszę uruchomić testy wydajności dla mojego współbieżnego programu, a moim wymaganiem jest, aby był uruchamiany tylko na jednym rdzeniu procesora. (Nie chcę współpracować z wątkami - chcę zawsze przełączać kontekst). Mam więc dwa pytania: Najlepsze rozwiązanie - jak podpisać i zarezerwować tylko jeden rdzeń procesora tylko dla mojego programu (aby …
3
popraw użycie równoległe xargs
Używam xargsdo wywołania skryptu Pythona w celu przetworzenia około 30 milionów małych plików. Mam nadzieję, że wykorzystam to xargsdo zrównoleglenia procesu. Polecenie, którego używam to: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Zasadniczo Convert.pywczyta się w małym pliku json (4kb), trochę …
1
Multi-Threading / Forking w skrypcie bash
Napisałem skrypt bash, który ma następujący format: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." whilePętla będzie czytać od $inFilewykonać pewną aktywność na linii i zrzucić wynik …
2
Równoległa pętla for
Chcę zrównoleglić forpętle poniższego kodu. Jak to zrobić? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done arr=("${arr[@]}" "$min") done
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.