Czy program PowerShell może uruchamiać polecenia równolegle?

Mam skrypt PowerShell do przetwarzania wsadowego na kilku obrazach i chciałbym przeprowadzić równoległe przetwarzanie. Wydaje się, że Powershell ma pewne opcje przetwarzania w tle, takie jak start-job, wait-job itp., Ale jedynym dobrym źródłem, które znalazłem do wykonywania równoległej pracy, było napisanie tekstu skryptu i uruchomienie go ( wielowątkowość PowerShell )

Idealnie, chciałbym coś podobnego do równoległego foreach w .net 4.

Coś całkiem pozornego, jak:

foreach-parallel -threads 4 ($file in (Get-ChildItem $dir))
{
   .. Do Work
}

Może lepiej byłoby, gdybym zszedł do C # ...

Możesz wykonywać równoległe zadania w programie PowerShell 2 przy użyciu zadań w tle . Sprawdź Start-Job i inne polecenia cmdlet Job.

# Loop through the server list
Get-Content "ServerList.txt" | %{

  # Define what each job does
  $ScriptBlock = {
    param($pipelinePassIn) 
    Test-Path "\\$pipelinePassIn\c`$\Something"
    Start-Sleep 60
  }

  # Execute the jobs in parallel
  Start-Job $ScriptBlock -ArgumentList $_
}

Get-Job

# Wait for it all to complete
While (Get-Job -State "Running")
{
  Start-Sleep 10
}

# Getting the information back from the jobs
Get-Job | Receive-Job

Odpowiedź Steve'a Townsenda jest poprawna w teorii, ale nie w praktyce, jak zauważył @likwid. Mój poprawiony kod uwzględnia barierę związaną z kontekstem pracy - domyślnie nic nie przekracza tej bariery! $_Zmienna automatyczna może być zatem używana w pętli, ale nie może być używana bezpośrednio w bloku skryptu, ponieważ znajduje się w oddzielnym kontekście utworzonym przez zadanie.

Aby przekazać zmienne z kontekstu nadrzędnego do kontekstu podrzędnego, użyj -ArgumentListparametru on, Start-Jobaby je wysłać, i użyj paramwewnątrz bloku skryptu, aby je odebrać.

cls
# Send in two root directory names, one that exists and one that does not.
# Should then get a "True" and a "False" result out the end.
"temp", "foo" | %{

  $ScriptBlock = {
    # accept the loop variable across the job-context barrier
    param($name) 
    # Show the loop variable has made it through!
    Write-Host "[processing '$name' inside the job]"
    # Execute a command
    Test-Path "\$name"
    # Just wait for a bit...
    Start-Sleep 5
  }

  # Show the loop variable here is correct
  Write-Host "processing $_..."

  # pass the loop variable across the job-context barrier
  Start-Job $ScriptBlock -ArgumentList $_
}

# Wait for all to complete
While (Get-Job -State "Running") { Start-Sleep 2 }

# Display output from all jobs
Get-Job | Receive-Job

# Cleanup
Remove-Job *

(Generalnie lubię podawać odniesienie do dokumentacji PowerShell jako dowód potwierdzający, ale niestety moje poszukiwania były bezowocne. Jeśli wiesz, gdzie udokumentowano separację kontekstów, opublikuj tutaj komentarz, aby dać mi znać!)

http://gallery.technet.microsoft.com/scriptcenter/Invoke-Async-Allows-you-to-83b0c9f0

Stworzyłem invoke-async, który umożliwia uruchamianie wielu bloków skryptów / poleceń cmdlet / funkcji w tym samym czasie. jest to świetne rozwiązanie w przypadku małych zadań (skanowanie podsieci lub kwerendy wmi na setkach maszyn), ponieważ obciążenie związane z tworzeniem obszaru roboczego w porównaniu z czasem uruchamiania zadania jest dość drastyczne. Może być używany w ten sposób.

z blokiem skryptów,

$sb = [scriptblock] {param($system) gwmi win32_operatingsystem -ComputerName $system | select csname,caption} 

$servers = Get-Content servers.txt 

$rtn = Invoke-Async -Set $server -SetParam system  -ScriptBlock $sb

po prostu polecenie cmdlet / funkcja

$servers = Get-Content servers.txt 

$rtn = Invoke-Async -Set $servers -SetParam computername -Params @{count=1} -Cmdlet Test-Connection -ThreadCount 50

W dzisiejszych czasach jest tak wiele odpowiedzi na to pytanie:

1. Jobs (lub Threadjobs w PS 6/7 lub module)
2. proces startu
3. przepływy pracy
4. Powershell api z innym obszarem działania
5. invoke-command z wieloma komputerami, z których wszystkie mogą być hostami lokalnymi (muszą być administratorami)
6. karty wielu sesji (obszaru działania) w ISE lub zdalne karty PowerShell ISE
7. Powershell 7 ma foreach-object -parallelalternatywę dla # 4

Oto przepływy pracy z dosłownie paralelą foreach:

workflow work {
  foreach -parallel ($i in 1..3) { 
    sleep 5 
    "$i done" 
  }
}

work

3 done
1 done
2 done

Lub przepływ pracy z równoległym blokiem:

function sleepfor($time) { sleep $time; "sleepfor $time done"}

workflow work {
  parallel {
    sleepfor 3
    sleepfor 2
    sleepfor 1
  }
  'hi'
}

work 

sleepfor 1 done
sleepfor 2 done
sleepfor 3 done
hi

Oto przykład interfejsu API z obszarami uruchomieniowymi:

$a =  [PowerShell]::Create().AddScript{sleep 5;'a done'}
$b =  [PowerShell]::Create().AddScript{sleep 5;'b done'}
$c =  [PowerShell]::Create().AddScript{sleep 5;'c done'}
$r1,$r2,$r3 = ($a,$b,$c).begininvoke() # run in background
$a.EndInvoke($r1); $b.EndInvoke($r2); $c.EndInvoke($r3) # wait
($a,$b,$c).streams.error # check for errors
($a,$b,$c).dispose() # clean

a done
b done
c done

Zadania w tle są drogie w konfiguracji i nie nadają się do ponownego wykorzystania. PowerShell MVP Oisin Grehan ma dobry przykład wielowątkowości programu PowerShell.

(Witryna 25.10.2010 nie działa, ale jest dostępna za pośrednictwem archiwum internetowego).

Użyłem dostosowanego skryptu Oisin do użycia w procedurze ładowania danych tutaj:

http://rsdd.codeplex.com/SourceControl/changeset/view/a6cd657ea2be#Invoke-RSDDThreaded.ps1

Aby uzupełnić poprzednie odpowiedzi, możesz także użyć opcji Wait-Jobczekania na zakończenie wszystkich zadań:

For ($i=1; $i -le 3; $i++) {
    $ScriptBlock = {
        Param (
            [string] [Parameter(Mandatory=$true)] $increment
        )

        Write-Host $increment
    }

    Start-Job $ScriptBlock -ArgumentList $i
}

Get-Job | Wait-Job | Receive-Job

W programie PowerShell 7 można użyć funkcji ForEach-Object -Parallel

$Message = "Output:"
Get-ChildItem $dir | ForEach-Object -Parallel {
    "$using:Message $_"
} -ThrottleLimit 4

Jeśli używasz najnowszej wieloplatformowej powłoki PowerShell (którą powinieneś btw) https://github.com/powershell/powershell#get-powershell , możesz dodać pojedynczy, &aby uruchamiać równoległe skrypty. (Służy ;do uruchamiania sekwencyjnego)

W moim przypadku potrzebowałem uruchomić równolegle 2 skrypty npm: npm run hotReload & npm run dev

Możesz także skonfigurować npm do używania powershelldla swoich skryptów (domyślnie używa cmdw systemie Windows).

Uruchom z folderu głównego projektu: npm config set script-shell pwsh --userconfig ./.npmrc a następnie użyj pojedynczego polecenia skryptu npm:npm run start

"start":"npm run hotReload & npm run dev"