Jak mogę ograniczyć Parallel.ForEach?

295

Mam pętlę asynchroniczną Parallel.ForEach (), z którą pobieram niektóre strony internetowe. Moja przepustowość jest ograniczona, więc mogę pobierać tylko x stron na raz, ale Parallel.ForEach wykonuje całą listę pożądanych stron internetowych.

Czy istnieje sposób ograniczenia liczby wątków lub dowolnego innego ogranicznika podczas uruchamiania Parallel.ForEach?

Kod demonstracyjny:

Parallel.ForEach(listOfWebpages, webpage => {
  Download(webpage);
});

Prawdziwe zadanie nie ma nic wspólnego ze stronami, więc kreatywne rozwiązania do indeksowania stron internetowych nie pomogą.

c# .net asynchronous parallel.foreach

— eugeneK
źródło

@jKlaus Jeśli lista nie jest modyfikowana, np. jest to tylko zestaw adresów URL, naprawdę nie widzę problemu?

— Shiv

@Shiv, biorąc pod uwagę wystarczającą ilość czasu, będziesz ... Policzyć swoją liczbę egzekucji i porównać ją z liczbą list.

— jKlaus

@jKlaus Co mówisz, pójdzie nie tak?

— Shiv

1

@ jKlaus modyfikujesz element inny niż bezpieczny (liczba całkowita). Spodziewałbym się, że to nie zadziała w tym scenariuszu. Z drugiej strony OP nie modyfikuje niczego, co musi być bezpieczne dla wątków.

— Shiv

2

@jKlaus Oto przykład Parallel.ForEach, który poprawnie ustawia liczbę> dotnetfiddle.net/moqP2C . Link do MSDN: msdn.microsoft.com/en-us/library/dd997393(v=vs.110).aspx

— jhamm

564

Można określić MaxDegreeOfParallelismw ParallelOptionsparametrze:

Parallel.ForEach(
    listOfWebpages,
    new ParallelOptions { MaxDegreeOfParallelism = 4 },
    webpage => { Download(webpage); }
);

MSDN: Parallel.ForEach

MSDN: ParallelOptions.MaxDegreeOfParallelism

— Nicholas Butler
źródło

59

Może nie dotyczyć tego konkretnego przypadku, ale pomyślałem, że wyrzucę go na wypadek, gdyby ktoś się nad tym zastanawiał i uznał to za przydatne. Tutaj wykorzystuję 75% (w zaokrągleniu) liczby procesorów.

var opts = new ParallelOptions             {                 MaxDegreeOfParallelism = Convert.ToInt32(Math.Ceiling((Environment.ProcessorCount * 0.75) * 1.0))             };

— jKlaus,

4

Aby zaoszczędzić na tym, że ktokolwiek będzie musiał to sprawdzić w dokumentacji, przekazanie wartości -1jest takie samo, jak w ogóle jej nieokreślanie: „Jeśli [wartość] wynosi -1, nie ma ograniczenia liczby jednoczesnych uruchomionych operacji”

— stuartd

Dokumentacja nie jest dla mnie jasna - czy ustawienie MaxDegreeOfParallelism na 4 (na przykład) oznacza, że będą 4 wątki w każdym z 1/4 iteracji pętli (wysłana jedna runda 4 wątków), czy też każdy wątek nadal wykonuje jedną pętlę iteracja, a my ograniczamy tylko liczbę uruchomionych równolegle?

— Hashman

7

Aby być czystym rdzenie i wątki to nie to samo. W zależności od procesora istnieje różna liczba wątków na rdzeń, zwykle 2 na rdzeń. Na przykład, jeśli masz 4-rdzeniowy procesor z 2 wątkami na rdzeń, to masz maksymalnie 8 wątków. Aby dostosować komentarz @jKlaus

var opts = new ParallelOptions { MaxDegreeOfParallelism = Convert.ToInt32(Math.Ceiling((Environment.ProcessorCount * 0.75) * 2.0)) };

. Link do wątków vs rdzenie - askubuntu.com/questions/668538/…

— TheMiddleMan

41

Możesz użyć ParallelOptions i ustawić MaxDegreeOfParallelism, aby ograniczyć liczbę współbieżnych wątków:

Parallel.ForEach(
    listOfwebpages, 
    new ParallelOptions{MaxDegreeOfParallelism=2}, 
    webpage => {Download(webpage);});

— rikitikitik
źródło

21

Użyj innego przeciążenia, Parallel.Foreachktóre zajmuje ParallelOptionswystąpienie i ustaw, MaxDegreeOfParallelismaby ograniczyć liczbę wystąpień wykonywanych równolegle.

— Richard
źródło

11

A dla użytkowników VB.net (składnia jest dziwna i trudna do znalezienia) ...

Parallel.ForEach(listOfWebpages, New ParallelOptions() With {.MaxDegreeOfParallelism = 8}, Sub(webpage)
......end sub)

— użytkownik3496060
źródło