Kompilacja z g ++ przy użyciu wielu rdzeni

Szybkie pytanie: jaka jest flaga kompilatora, która pozwala g ++ na tworzenie wielu własnych instancji w celu szybszego kompilowania dużych projektów (na przykład 4 pliki źródłowe naraz dla wielordzeniowego procesora)?

Możesz to zrobić za pomocą make - za pomocą gnu make jest to flaga -j (pomoże to również na komputerze jednoprocesorowym).

Na przykład, jeśli chcesz, aby marka miała 4 równoległe zadania:

make -j 4

Możesz także uruchomić gcc w potoku z

gcc -pipe

Spowoduje to potokowanie etapów kompilacji, co również pomoże utrzymać zajęcie rdzeni.

Jeśli masz również dodatkowe maszyny, możesz sprawdzić distcc , który będzie kompilował również do nich.

Nie ma takiej flagi, a posiadanie jednej jest sprzeczne z filozofią Uniksa, zgodnie z którą każde narzędzie wykonuje tylko jedną funkcję i wykonuje ją dobrze. Tworzenie procesów kompilatora jest koncepcyjnie zadaniem systemu kompilacji. To, czego prawdopodobnie szukasz, to flaga -j (praca) do GNU make, a la

zrobić -j4

Lub możesz użyć pmake lub podobnych systemów do tworzenia równoległych.

Ludzie wspominali o podobnej koncepcji, makeale bjamteż ją popierają. Korzystanie z bjam -jxinstrukcji bjam do zbudowaniax współbieżnych poleceń.

Używamy tych samych skryptów kompilacji w systemach Windows i Linux, a użycie tej opcji skraca o połowę czas kompilacji na obu platformach. Miły.

makezrobi to za Ciebie. Zbadaj przełączniki -ji -lna stronie podręcznika. Nie sądzę, aby g++można go było równolegle.

Jeśli używasz make, problem z -j. Od man make:

  -j [jobs], --jobs[=jobs]
       Specifies the number of jobs (commands) to run simultaneously.  
       If there is more than one -j option, the last one is effective.
       If the -j option is given without an argument, make will not limit the
       number of jobs that can run simultaneously.

A przede wszystkim, jeśli chcesz napisać skrypt lub zidentyfikować liczbę dostępnych rdzeni (w zależności od środowiska i jeśli pracujesz w wielu środowiskach, może to bardzo się zmienić), możesz użyć wszechobecnej funkcji Pythona cpu_count():

https://docs.python.org/3/library/multiprocessing.html#multiprocessing.cpu_count

Lubię to:

make -j $(python3 -c 'import multiprocessing as mp; print(int(mp.cpu_count() * 1.5))')

Jeśli pytasz, dlaczego 1.5w komentarzu powyżej zacytuję bezartowy szum użytkownika:

Liczba 1.5 jest spowodowana zauważonym problemem związanym z we / wy. To praktyczna zasada. Około 1/3 zadań będzie czekała na operacje we / wy, więc pozostałe zadania będą wykorzystywać dostępne rdzenie. Liczba większa niż liczba rdzeni jest lepsza i możesz nawet osiągnąć nawet 2x.

distcc może być również używane do dystrybucji kompilacji nie tylko na bieżącej maszynie, ale także na innych maszynach w farmie, na których zainstalowano distcc.

Nie jestem pewien co do g ++, ale jeśli używasz GNU Make to "make -j N" (gdzie N to liczba wątków, które może utworzyć) pozwoli make na uruchomienie wielu zadań g ++ w tym samym czasie (tak długo ponieważ pliki nie są od siebie zależne).

Równolegle z GNU

Robiłem test porównawczy kompilacji syntetycznej i nie mogłem zawracać sobie głowy pisaniem pliku Makefile, więc użyłem:

sudo apt-get install parallel
ls | grep -E '\.c$' | parallel -t --will-cite "gcc -c -o '{.}.o' '{}'"

Wyjaśnienie:

• {.} pobiera argument wejściowy i usuwa jego rozszerzenie
• -t wypisuje wykonywane polecenia, aby dać nam wyobrażenie o postępie
• --will-cite usuwa prośbę o cytowanie oprogramowania, jeśli publikujesz przy jego użyciu wyniki ...

parallel jest tak wygodny, że mógłbym sam sprawdzić datownik:

ls | grep -E '\.c$' | parallel -t --will-cite "\
  if ! [ -f '{.}.o' ] || [ '{}' -nt '{.}.o' ]; then
    gcc -c -o '{.}.o' '{}'
  fi
"

xargs -P może również uruchamiać zadania równolegle, ale nieco mniej wygodne jest manipulowanie rozszerzeniami lub uruchamianie z nim wielu poleceń: wielu poleceń Wywoływanie wielu poleceń przez xargs

Poproszono o linkowanie równoległe pod adresem: Czy gcc może używać wielu rdzeni podczas łączenia?

DO ZROBIENIA: Myślę, że gdzieś przeczytałem, że kompilację można zredukować do mnożenia macierzy, więc być może jest też możliwe przyspieszenie kompilacji pojedynczego pliku dla dużych plików. Ale nie mogę teraz znaleźć odniesienia.

Testowane w Ubuntu 18.10.