Pytania otagowane jako multiprocessing

Wieloprocesorowość to wykorzystanie dwóch lub więcej jednostek centralnych (CPU) w ramach jednego systemu komputerowego. Odpowiednie szczegóły implementacji i użytkowania różnią się w zależności od systemu operacyjnego i języka programowania. Dlatego zawsze dodawaj tagi zarówno dla systemu operacyjnego, jak i języka, gdy używasz tego tagu.

19
Python multiprocessing pool.map dla wielu argumentów
Czy w bibliotece wieloprocesowej Python istnieje wariant pool.map, który obsługuje wiele argumentów? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()
8
Wieloprocesowe przetwarzanie w Pythonie PicklingError: Can't pickle <type 'function'>
Przykro mi, że nie mogę odtworzyć błędu na prostszym przykładzie, a mój kod jest zbyt skomplikowany, aby go opublikować. Jeśli uruchomię program w powłoce IPython zamiast zwykłego Pythona, wszystko zadziała dobrze. Przejrzałem kilka wcześniejszych notatek na ten temat. Wszystkie zostały spowodowane przez użycie puli do wywołania funkcji zdefiniowanej w funkcji …
21
Jak mam się zalogować podczas korzystania z wielu procesów w Pythonie?
Teraz mam centralny moduł w ramy, które spawns kilka procesów z użyciem Pythona 2.6 multiprocessingmoduł . Ponieważ używa multiprocessing, istnieje moduł obsługujący wieloprocesowy dziennik na poziomie modułu LOG = multiprocessing.get_logger(). Zgodnie z dokumentami ten program rejestrujący ma blokady współużytkowane przez proces, dzięki czemu nie rozbijasz rzeczy w sys.stderr(lub jakimkolwiek uchwycie …
12
Nie można marynować <wpisz „instancemethod”> podczas korzystania z puliaprocesap.
Próbuję użyć multiprocessing„s Pool.map()funkcję podzielenie prac jednocześnie. Gdy używam następującego kodu, działa dobrze: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() Jednak gdy używam go w podejściu bardziej obiektowym, to nie działa. Wyświetlany komunikat o błędzie to: PicklingError: Can't …
1
multiprocessing.Pool: Jaka jest różnica między map_async a imap?
Próbuję nauczyć się korzystać z multiprocessingpakietu Pythona , ale nie rozumiem różnicy między map_asynci imap. Zauważyłem, że zarówno map_asynci imapsą wykonywane asynchronicznie. Więc kiedy powinienem używać jednego na drugim? I w jaki sposób mam odzyskać zwrócony wynik map_async? Czy powinienem użyć czegoś takiego? def test(): result = pool.map_async() pool.close() pool.join() …
1
Concurrent.futures vs Multiprocessing w Pythonie 3
Python 3.2 wprowadził Concurrent Futures , które wydają się być zaawansowaną kombinacją starszych modułów wątkowych i wieloprocesorowych . Jakie są zalety i wady używania tego do zadań związanych z procesorem w porównaniu ze starszym modułem wieloprocesorowym? Ten artykuł sugeruje, że są znacznie łatwiejsze w obsłudze - czy tak jest?
6
Jakie są różnice między modułami obsługującymi wątki i wieloprocesorowe?
Uczę się, jak używać threadingi te multiprocessingmoduły w Pythonie, aby uruchomić pewne operacje równolegle i przyspieszyć mój kod. Trudno mi (być może dlatego, że nie mam żadnych podstaw teoretycznych), aby zrozumieć, jaka jest różnica między threading.Thread()obiektem a multiprocessing.Process()jedynką. Ponadto nie jest dla mnie całkowicie jasne, jak utworzyć wystąpienie kolejki zadań …
10
Klawiatura przerywa z wieloprocesorową pulą Pythona
Jak mogę obsłużyć zdarzenia KeyboardInterrupt z wieloprocesorowymi pulami Pythona? Oto prosty przykład: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** THIS PART NEVER EXECUTES. **** pool.terminate() print …
3
Dlaczego wieloprocesorowość używa tylko jednego rdzenia po zaimportowaniu numpy?
Nie jestem pewien, czy liczy się to bardziej jako problem z systemem operacyjnym, ale pomyślałem, że zapytałbym tutaj, gdyby ktoś miał jakiś wgląd w Python. Próbowałem zsynchronizować forpętlę obciążającą procesor joblib, ale stwierdziłem, że zamiast przypisywać każdy proces roboczy do innego rdzenia, w końcu wszystkie są przypisane do tego samego …
5
przetwarzanie wieloprocesowe: jak udostępnić dyktando wielu procesom?
Program, który tworzy kilka procesów, które działają w kolejce, którą Qmożna połączyć , i może ostatecznie manipulować słownikiem globalnym w Dcelu przechowywania wyników. (aby każdy proces podrzędny mógł Dprzechowywać swój wynik, a także zobaczyć, jakie wyniki wytwarzają inne procesy podrzędne) Jeśli drukuję słownik D w procesie potomnym, widzę modyfikacje, które …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.