Metody optymalizacji przetwarzania wielu wyników w ArcGIS

Interesuję się metodami uczenia się, aby w pełni wykorzystać moc przetwarzania wielordzeniowego dostępnego na komputerze stacjonarnym. Arc stwierdza, że ​​geoprzetwarzanie w tle pozwala użytkownikowi na wykorzystanie wielu rdzeni, jednak zadania zasadniczo muszą czekać w kolejce na zakończenie poprzedniego zadania.

Czy ktoś opracował równoległe lub wielowątkowe metody geoprzetwarzania w Arc / Python? Czy są jakieś wąskie gardła sprzętowe, które uniemożliwiają przetwarzanie wielordzeniowe przy poszczególnych zadaniach?

Znalazłem interesujący przykład w Stackoverflow, który wzbudził moje zainteresowanie, chociaż nie jest to przykład geoprzetwarzania:

from multiprocessing import Pool
import numpy

numToFactor = 976

def isFactor(x):
    result = None
    div = (numToFactor / x)
    if div*x == numToFactor:
        result = (x,div)
    return result

if __name__ == '__main__':
    pool = Pool(processes=4)
    possibleFactors = range(1,int(numpy.floor(numpy.sqrt(numToFactor)))+1)
    print 'Checking ', possibleFactors
    result = pool.map(isFactor, possibleFactors)
    cleaned = [x for x in result if not x is None]
    print 'Factors are', cleaned

Oto przykład wielordzeniowego skryptu arcpy. Proces ten wymaga dużego obciążenia procesora, więc skaluje się bardzo dobrze: kod Porting Avenue do tworzenia Building Shadows do ArcPy / Python dla ArcGIS Desktop?

Kilka bardziej ogólnych informacji w tej odpowiedzi: Czy współbieżne procesy mogą być uruchamiane w jednym modelu?

Z mojego doświadczenia wynika, że ​​największym problemem jest zarządzanie stabilnością. Jeśli wykonasz sześć tygodni przetwarzania w ciągu jednej nocy, będziesz mieć również sześć tygodni niewytłumaczalnych błędów i błędów.

Alternatywnym podejściem jest opracowanie samodzielnych skryptów, które mogą działać niezależnie i nie mogą powodować problemów:

• Podziel dane na części, które pojedynczy rdzeń może przetworzyć w <20 minut (zadania).
• Zbuduj samodzielny skrypt Arcpy, który może przetwarzać pojedyncze zadanie i jest tak prosty, jak to tylko możliwe (pracownik).
• Opracuj mechanizm uruchamiania zadań. Istnieje wiele wcześniej istniejących rozwiązań w języku Python. Alternatywnie możesz stworzyć własny w prostej kolejce.
• Napisz kod, aby sprawdzić, czy zadania zostały zakończone. Może to być tak proste, jak sprawdzenie, czy plik wyjściowy został zapisany.
• Scal dane z powrotem razem.