Unix & Linux parallelism

15

Automatycznie uruchamiaj polecenia przez SSH na wielu serwerach

W pliku .txt znajduje się lista adresów IP, np .: 1.1.1.1 2.2.2.2 3.3.3.3 Za każdym adresem IP znajduje się serwer, a na każdym serwerze znajduje się sshd działający na porcie 22. Nie każdy serwer znajduje się na known_hostsliście (na moim komputerze, Ubuntu 10.04 LTS / bash). Jak uruchomić polecenia na …

46 ssh scripting parallelism

3

Najważniejsze polecenie na procesorze wielordzeniowym

Używam czterordzeniowego procesora IMX6 Freescale. Chcę wiedzieć, czy toppolecenie wyświetla użycie procesora przez wszystkie 4 rdzenie lub pojedynczy rdzeń. Widzę, że użycie procesora aplikacji jest takie samo w przypadku 4 rdzeni i jednego rdzenia. Zgadywałem, że użycie procesora przez aplikację wzrośnie na jednym rdzeniu i zmniejszy się na 4 rdzeniach, …

46 linux top parallelism cpu-usage

3

Jak uruchomić wielowątkowy grep w terminalu?

Mam folder zawierający ponad 250 plików o wielkości 2 GB każdy. Muszę wyszukać ciąg / wzorzec w tych plikach i wyświetlić wynik w outputpliku. Wiem, że mogę uruchomić następujące polecenie, ale jest ono zbyt wolne !! grep mypattern * > output Chcę to przyspieszyć. Jako programista w Javie wiem, że …

38 grep parallelism

2

Jak dystrybuować duże pliki do pobrania na wielu komputerach?

Muszę pobrać duży plik (1 GB). Mam również dostęp do wielu komputerów z systemem Linux, ale zasady administratora ograniczają każdy z nich do prędkości pobierania 50 kB / s. Jak mogę dystrybuować pobieranie tego pliku na kilka komputerów i scalać je po pobraniu wszystkich segmentów, aby szybciej otrzymać?

38 download cluster parallelism

15

Jak uruchomić to samo polecenie linux w więcej niż jednej karcie / powłoce jednocześnie?

Czy jest jakieś narzędzie / polecenie w systemie Linux, którego można użyć do uruchomienia polecenia na więcej niż jednej karcie jednocześnie? Chcę uruchomić to samo polecenie: ./myprog argument1 argument2jednocześnie w więcej niż jednej powłoce, aby sprawdzić, czy muteksy działają poprawnie w programie wątkowym. Chcę być w stanie zwiększyć liczbę wystąpień …

33 shell terminal parallelism

4

Jak ustalić maksymalną liczbę do przekazania do opcji make -j?

Chcę skompilować tak szybko, jak to możliwe. Domyśl. I chciałby zautomatyzować wybór numeru po -jopcji. Jak mogę programowo wybrać tę wartość, np. W skrypcie powłoki? Czy wynik jest nprocrównoważny liczbie wątków, z którymi mogę się skompilować? make -j1 make -j16

31 linux make cpu parallelism multiprocessor

6

Jednocześnie obliczyć wiele skrótów (MD5, SHA256)?

Zakładając, że dyskowe operacje we / wy i wolna pamięć RAM stanowią wąskie gardło (choć czas procesora nie jest ograniczeniem), czy istnieje narzędzie, które może obliczyć wiele skrótów wiadomości jednocześnie? Szczególnie interesuje mnie obliczanie skrótów MD-5 i SHA-256 dużych plików (rozmiar w gigabajtach), najlepiej równolegle. Próbowałem openssl dgst -sha256 -md5, …

25 shell-script hashsum parallelism

4

Cztery zadania równolegle… jak to zrobić?

Mam kilka obrazów PNG w katalogu. Mam aplikację o nazwie pngout, którą uruchamiam w celu skompresowania tych obrazów. Ta aplikacja jest wywoływana przez skrypt, który zrobiłem. Problem polega na tym, że ten skrypt wykonuje jeden po drugim, mniej więcej tak: FILES=(./*.png) for f in "${FILES[@]}" do echo "Processing $f file..." …

23 shell background-process parallelism

8

Wywoływanie wielu skryptów bash i uruchamianie ich równolegle, a nie po kolei

Załóżmy, że mam trzy (lub więcej) skrypty bash: script1.sh, script2.sh, i script3.sh. Chciałbym wywołać wszystkie trzy skrypty i uruchomić je równolegle . Jednym ze sposobów jest wykonanie następujących poleceń: nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh & (Ogólnie rzecz biorąc, skrypty mogą potrwać kilka godzin lub …

19 bash shell-script background-process parallelism

6

przy użyciu równoległego przetwarzania unikatowych plików wejściowych do unikatowych plików wyjściowych

Mam problem ze skryptem powłoki, w którym dostaję katalog pełen plików wejściowych (każdy plik zawiera wiele wierszy wejściowych) i muszę przetwarzać je osobno, przekierowując każde z ich wyników do unikalnego pliku (aka, plik_1.input potrzebuje do przechwycenia w pliku_1.output itd.). Przed równolegle , po prostu iterowałbym każdy plik w katalogu i …

18 scripting parallelism gnu-parallel

2

Jak powstrzymać xargs przed złym łączeniem danych wyjściowych z wielu procesów?

Używam xargsz opcją --max-args=0(alternatywnie -P 0). Jednak wyniki procesów są scalane ze stdoutstrumieniem bez uwzględnienia właściwego rozdzielenia linii. Więc często kończę liniami takimi jak: <start-of-line-1><line-2><end-of-line-1> Ponieważ używam egrepz ^moim wzorem na całej xargswyjście to jest brudząc się mój wynik. Czy jest jakiś sposób na wymuszenie xargszapisu wyników procesu w dowolnej …

17 process io xargs parallelism

4

Jak uruchamiać równoległe procesy i łączyć wyniki, gdy oba zostaną zakończone

Mam skrypt powłoki bash, w którym przepuszczam dane przez około 5 lub 6 różnych programów, a następnie końcowe wyniki do pliku rozdzielanego tabulatorami. Następnie robię to samo dla osobnego podobnego zestawu danych i wyprowadzam do drugiego pliku. Następnie oba pliki są wprowadzane do innego programu do analizy porównawczej. np. w …

17 scripting parallelism

5

Jak równolegle uruchamiać skrypty na zdalnym komputerze?

Mogę ssh na zdalnej maszynie, która ma 64 rdzenie. Powiedzmy, że muszę uruchomić 640 skryptów powłoki równolegle na tym komputerze. Jak mam to zrobic? Widzę podział 640 skryptów na 64 grupy, każdy po 10 skryptów. Jak miałbym następnie uruchomić każdą z tych grup równolegle , tj. Jedną grupę na każdym …

16 parallelism

2

Równoległe wykonywanie poleceń potokowych

Rozważ następujący scenariusz. Mam dwa programy A i B. Program A wyprowadza na standardowe linie ciągów, a program B na linie standardowe ze standardowego wejścia. Oczywiście sposobem na użycie tych dwóch programów jest: foo @ bar: ~ $ A | b Teraz zauważyłem, że zjada to tylko jeden rdzeń; stąd …

16 shell parallelism

6

Czy istnieje równoległy wget? Coś w stylu fping, ale tylko do pobierania?

Znalazłem tylko puf (moduł pobierania równoległego adresu URL), ale nie mogłem zmusić go do odczytania adresów URL z pliku; coś jak puf < urls.txt też nie działa. System operacyjny zainstalowany na serwerze to Ubuntu.

15 ubuntu wget parallelism

Pytania otagowane jako parallelism