Równoległe uruchamianie tysięcy procesów zwijania w tle w skrypcie bash

Korzystam z tysięcy procesów zwijania w tle równolegle w następującym skrypcie bash

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

Mam serwer dedykowany 49Gb Corei7-920 (nie wirtualny).

Śledzę zużycie pamięci i procesora za pomocą toppoleceń i są one daleko od granic.

Używam ps aux | grep curl | wc -ldo zliczania liczby bieżących procesów zwijania . Liczba ta rośnie gwałtownie do 2-4 tysięcy, a następnie zaczyna się stale zmniejszać.

Jeśli dodam proste analizowanie przez zawijanie rur do awk ( curl | awk > output), wówczas liczba procesów zwijania wzrośnie tylko do 1-2 tysięcy, a następnie spadnie do 20-30 ...

Dlaczego liczba procesów spada tak gwałtownie? Gdzie są granice tej architektury?

Po ścisłym pytaniu:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Krótszy, jeśli nie potrzebujesz tekstu płyty głównej wokół czasów:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Jeśli chcesz uruchomić 1000 równolegle, osiągniesz pewne ograniczenia (takie jak uchwyty plików). Podnoszenie ulimit -n lub /etc/security/limits.conf może pomóc.

for i in {1..100000}

Istnieje tylko 65536 portów. Ogranicz to.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(edytuj: (edytuj: usuń poważnie przestarzałe stwierdzenie o limitach systemu operacyjnego i dodaj brakujące )echocurl
wait