Pytania otagowane jako parallel-processing

Uruchamianie wielu poleceń (lub nawet komputerów) równolegle dla większej wydajności.

9
Równoległe rsync
Właśnie przeprowadziłem się i odkryłem po kilku próbach i błędach, że gdzieś między moim domem a moim zdalnym serwerem trwa dławienie ... ale dławienie nie jest zbyt inteligentne. Ogranicza tylko pojedyncze połączenia. Więc jeśli skopiuję jeden plik 1 GB, będzie on działał wesoło z prędkością 150 kB / s. Ale …
0
Dane wyjściowe konsoli Jenkins w czasie rzeczywistym dla polecenia równoległego wątku [zamknięty]
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizować pytanie , dlatego na temat Super Użytkownika. Zamknięte 2 lata temu . Mamy polecenie w języku Python, które działa równolegle na kilku hostach, mniej więcej tak: $ fab --hosts=prod1.server,prod2.server,prod3.server --parallel copy_cache Spowoduje to …
6
Jaki jest najlepszy sposób na wykonanie równoległej kopii na Uniksie?
Rutynowo muszę skopiować zawartość folderu w sieciowym systemie plików na komputer lokalny. W folderze zdalnym znajduje się wiele plików (1000), które są względnie małe, ale ze względu na obciążenie sieci zwykłe kopiowanie cp remote_folder/* ~/local_folder/zajmuje bardzo dużo czasu (10 minut). Uważam, że dzieje się tak, ponieważ pliki są kopiowane sekwencyjnie …
5
Czy wyższa liczba rdzeni lub wyższa częstotliwość taktowania jest bardziej korzystna dla wydajności komputera? [Zamknięte]
W obecnej formie to pytanie nie pasuje do naszego formatu pytań i odpowiedzi. Oczekujemy, że odpowiedzi poparte będą faktami, referencjami lub wiedzą specjalistyczną, ale to pytanie prawdopodobnie będzie wymagało debaty, argumentów, ankiet lub rozszerzonej dyskusji. Jeśli uważasz, że to pytanie można poprawić i ewentualnie ponownie otworzyć, odwiedź centrum pomocy w …
3
Zabij proces, gdy może on działać przez pewien czas
Chcę ograniczyć czas, w którym greppolecenie procesu może działać lub być aktywne. Na przykład. Chcę wykonać następujące czynności: grep -qsRw -m1 "parameter" /var Ale przed uruchomieniem greppolecenia chcę ograniczyć czas trwania grepprocesu, powiedzmy nie dłużej niż 30 sekund. Jak mam to zrobic? A jeśli to możliwe, w jaki sposób mogę …
3
netcat jako serwer wielowątkowy
Używam netcata do uruchomienia prostego serwera takiego jak ten: while true; do nc -l -p 2468 -e ./my_exe; done W ten sposób każdy może połączyć się z moim hostem na porcie 2468 i porozmawiać z „my_exe”. Niestety, jeśli ktoś chce się połączyć podczas sesji otwartej, otrzyma błąd „Odmowa połączenia”, ponieważ …
5
Równoległe pętle powłoki
Chcę przetwarzać wiele plików, a ponieważ mam tutaj kilka rdzeni, chcę to zrobić równolegle: for i in *.myfiles; do do_something $i `derived_params $i` other_params; done Znam rozwiązanie Makefile , ale moje polecenia wymagają argumentów z listy globowania powłoki. Znalazłem: > function pwait() { > while [ $(jobs -p | wc …
1
Sortuj - równoległe nie jest równoległe
Próbuję stworzyć unikalny zestaw linii wyciągniętych z pliku za pomocą egrep z sort -u, a następnie je policzyć. Około 10% linii (wszystkie 100 znaków z alfabetu [ATCG]) jest powielonych. Są dwa pliki, po około 3 koncerty, 50% nie ma znaczenia, więc może 300 milionów linii. LC_ALL=C grep -E <files> | …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.