RuntimeError w systemie Windows próbującym wieloprocesorowości w Pythonie

Wypróbowuję mój pierwszy formalny program w języku Python z obsługą wątków i wieloprocesorowości na komputerze z systemem Windows. Nie mogę jednak uruchomić procesów, a Python podaje następujący komunikat. Chodzi o to, że nie uruchamiam swoich wątków w głównym module. Wątki są obsługiwane w oddzielnym module wewnątrz klasy.

EDYCJA : Nawiasem mówiąc, ten kod działa dobrze na Ubuntu. Niezupełnie w oknach

RuntimeError: 
            Attempt to start a new process before the current process
            has finished its bootstrapping phase.
            This probably means that you are on Windows and you have
            forgotten to use the proper idiom in the main module:
                if __name__ == '__main__':
                    freeze_support()
                    ...
            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce a Windows executable.

Mój oryginalny kod jest dość długi, ale udało mi się odtworzyć błąd w skróconej wersji kodu. Jest podzielony na dwa pliki, pierwszy jest głównym modułem i robi niewiele poza importem modułu, który obsługuje procesy / wątki i wywołuje metodę. Drugi moduł to miejsce, w którym znajduje się mięso kodu.

testMain.py:

import parallelTestModule

extractor = parallelTestModule.ParallelExtractor()
extractor.runInParallel(numProcesses=2, numThreads=4)

parallelTestModule.py:

import multiprocessing
from multiprocessing import Process
import threading

class ThreadRunner(threading.Thread):
    """ This class represents a single instance of a running thread"""
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        print self.name,'\n'

class ProcessRunner:
    """ This class represents a single instance of a running process """
    def runp(self, pid, numThreads):
        mythreads = []
        for tid in range(numThreads):
            name = "Proc-"+str(pid)+"-Thread-"+str(tid)
            th = ThreadRunner(name)
            mythreads.append(th) 
        for i in mythreads:
            i.start()
        for i in mythreads:
            i.join()

class ParallelExtractor:    
    def runInParallel(self, numProcesses, numThreads):
        myprocs = []
        prunner = ProcessRunner()
        for pid in range(numProcesses):
            pr = Process(target=prunner.runp, args=(pid, numThreads)) 
            myprocs.append(pr) 
#        if __name__ == 'parallelTestModule':    #This didnt work
#        if __name__ == '__main__':              #This obviously doesnt work
#        multiprocessing.freeze_support()        #added after seeing error to no avail
        for i in myprocs:
            i.start()

        for i in myprocs:
            i.join()

W systemie Windows podprocesy importują (tj. Wykonują) główny moduł przy starcie. Musisz wstawić if __name__ == '__main__':strażnika w głównym module, aby uniknąć rekurencyjnego tworzenia podprocesów.

Zmodyfikowano testMain.py:

import parallelTestModule

if __name__ == '__main__':    
    extractor = parallelTestModule.ParallelExtractor()
    extractor.runInParallel(numProcesses=2, numThreads=4)

Spróbuj umieścić kod wewnątrz funkcji głównej w testMain.py

import parallelTestModule

if __name__ ==  '__main__':
  extractor = parallelTestModule.ParallelExtractor()
  extractor.runInParallel(numProcesses=2, numThreads=4)

Zobacz dokumentację :

"For an explanation of why (on Windows) the if __name__ == '__main__' 
part is necessary, see Programming guidelines."

które mówią

„Upewnij się, że moduł główny można bezpiecznie zaimportować przez nowy interpreter Pythona bez powodowania niezamierzonych efektów ubocznych (takich jak rozpoczęcie nowego procesu)”.

... używając if __name__ == '__main__'

Chociaż wcześniejsze odpowiedzi są poprawne, istnieje mała komplikacja, na którą warto zwrócić uwagę.

W przypadku, gdy twój główny moduł importuje inny moduł, w którym zmienne globalne lub zmienne składowe klasy są zdefiniowane i zainicjowane (lub przy użyciu) niektórych nowych obiektów, być może będziesz musiał warunkować import w ten sam sposób:

if __name__ ==  '__main__':
  import my_module

Jak powiedział @Ofer, gdy używasz innych bibliotek lub modułów, powinieneś zaimportować je wszystkie do pliku if __name__ == '__main__':

Więc w moim przypadku skończyło się tak:

if __name__ == '__main__':       
    import librosa
    import os
    import pandas as pd
    run_my_program()

W moim przypadku był to prosty błąd w kodzie, użycie zmiennej przed jej utworzeniem. Warto to sprawdzić przed wypróbowaniem powyższych rozwiązań. Pan wie, dlaczego otrzymałem ten konkretny komunikat o błędzie.