Używanie Spark 2.4.4 działającej w trybie klastra YARN z iskrowym harmonogramem FIFO.
Przesyłam wiele operacji ramki danych Spark (tj. Zapisuję dane do S3) przy użyciu modułu wykonującego pulę wątków o zmiennej liczbie wątków. Działa to dobrze, jeśli mam ~ 10 wątków, ale jeśli użyję setek wątków, wydaje się, że jest impas, a żadne zadania nie są planowane zgodnie z interfejsem Spark.
Jakie czynniki kontrolują, ile zadań można zaplanować jednocześnie? Zasoby sterownika (np. Pamięć / rdzenie)? Jakieś inne ustawienia konfiguracji iskier?
EDYTOWAĆ:
Oto krótkie streszczenie mojego kodu
ExecutorService pool = Executors.newFixedThreadPool(nThreads);
ExecutorCompletionService<Void> ecs = new ExecutorCompletionService<>(pool);
Dataset<Row> aHugeDf = spark.read.json(hundredsOfPaths);
List<Future<Void>> futures = listOfSeveralHundredThings
.stream()
.map(aThing -> ecs.submit(() -> {
df
.filter(col("some_column").equalTo(aThing))
.write()
.format("org.apache.hudi")
.options(writeOptions)
.save(outputPathFor(aThing));
return null;
}))
.collect(Collectors.toList());
IntStream.range(0, futures.size()).forEach(i -> ecs.poll(30, TimeUnit.MINUTES));
exec.shutdownNow();
W pewnym momencie, wraz ze nThreadswzrostem, iskra nie wydaje się już planować żadnych zadań, o czym świadczą:
ecs.poll(...)upłynął limit czasu- Karta Zadania interfejsu użytkownika Spark pokazuje brak aktywnych zadań
- Karta executorów interfejsu użytkownika Spark pokazująca brak aktywnych zadań dla dowolnego modułu wykonującego
- Karta SQL interfejsu użytkownika Spark wyświetlająca
nThreadsuruchomione zapytania bez uruchomionych identyfikatorów zadań
Moje środowisko wykonawcze to
- AWS EMR 5.28.1
- Spark 2.4.4
- Węzeł główny =
m5.4xlarge - Węzły rdzenia = 3x
rd5.24xlarge spark.driver.cores=24spark.driver.memory=32gspark.executor.memory=21gspark.scheduler.mode=FIFO
proszę sprawdź spark.apache.org/docs/latest/job-scheduling.html
—
dassum
Czy jest jakaś konkretna sekcja, która to omawia? Czytałem te dokumenty kilka razy w ciągu ostatnich kilku dni i nie znalazłem odpowiedzi, której szukam.
—
Scott
Czy możesz pokazać kod, którego używasz do przesyłania zadań Spark za pośrednictwem executora puli wątków? Wygląda na to, że impas ma miejsce przed przesłaniem zadania Spark.
—
Salim
Czy możesz opublikować swój kod? Podaj szczegółowe informacje na temat swojej env: procesor, pamięć RAM; także w jaki sposób tworzysz wątki: jednocześnie lub w małych grupach po 10 osób?
—
Saheed
Przepraszam, co masz na myśli, że prace nie są zaplanowane? Nie pojawiają się w interfejsie Spark lub pojawiają się na liście zadań, ale zadania się nie wykonują? Tak czy inaczej, jeśli podejrzewasz impas, biegnij,
—
Daniel Darabos
jstack -laby uzyskać zrzut wątku z informacjami o blokowaniu.