Jak przekazać parametr -D lub zmienną środowiskową do zadania Spark?

Chcę zmienić konfigurację Typesafe zadania Spark w środowisku dev / prod. Wydaje mi się, że najłatwiejszym sposobem na osiągnięcie tego jest przejście -Dconfig.resource=ENVNAMEdo pracy. Wtedy biblioteka konfiguracyjna Typesafe zrobi to za mnie.

Czy istnieje sposób, aby przekazać tę opcję bezpośrednio do zadania? A może jest lepszy sposób na zmianę konfiguracji zadania w czasie wykonywania?

EDYTOWAĆ:

• Nic się nie dzieje, gdy dodam --conf "spark.executor.extraJavaOptions=-Dconfig.resource=dev"opcję polecenia wysyłania iskry .
• Dostałem, Error: Unrecognized option '-Dconfig.resource=dev'.kiedy przechodzę -Dconfig.resource=devdo polecenia wysyłania iskry .

Zmień spark-submitwiersz poleceń, dodając trzy opcje:

• --files <location_to_your_app.conf>
• --conf 'spark.executor.extraJavaOptions=-Dconfig.resource=app'
• --conf 'spark.driver.extraJavaOptions=-Dconfig.resource=app'

Oto mój program Spark uruchomiony z dodatkową opcją java

/home/spark/spark-1.6.1-bin-hadoop2.6/bin/spark-submit \
--files /home/spark/jobs/fact_stats_ad.conf \
--conf spark.executor.extraJavaOptions=-Dconfig.fuction.conf \
--conf 'spark.driver.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH -Dalluxio.user.file.write.location.policy.class=alluxio.client.file.policy.MostAvailableFirstPolicy -Dconfig.file=/home/spark/jobs/fact_stats_ad.conf' \
--class jobs.DiskDailyJob \
--packages com.databricks:spark-csv_2.10:1.4.0 \
--jars /home/spark/jobs/alluxio-core-client-1.2.0-RC2-jar-with-dependencies.jar \
--driver-memory 2g \
/home/spark/jobs/convert_to_parquet.jar \
AD_COOKIE_REPORT FACT_AD_STATS_DAILY | tee /data/fact_ad_stats_daily.log

jak widać niestandardowy plik konfiguracyjny --files /home/spark/jobs/fact_stats_ad.conf

opcje java executora --conf spark.executor.extraJavaOptions=-Dconfig.fuction.conf

opcje sterownika java. --conf 'spark.driver.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH -Dalluxio.user.file.write.location.policy.class=alluxio.client.file.policy.MostAvailableFirstPolicy -Dconfig.file=/home/spark/jobs/fact_stats_ad.conf'

Mam nadzieję, że to pomoże.

Miałem wiele problemów z przekazaniem parametrów -D do executorów iskra i sterownika, dodałem cytat z mojego wpisu na blogu na ten temat: „Właściwym sposobem przekazania parametru jest właściwość:„ spark.driver.extraJavaOptions”i„ spark.executor.extraJavaOptions”: Przekazałem zarówno właściwość konfiguracji log4J, jak i parametr, którego potrzebowałem do konfiguracji. (Do sterownika mogłem przekazać tylko konfigurację log4j). Na przykład (zostało zapisane w pliku właściwości przekazanym w funkcji przesyłania iskier z „- plik-właściwości ”):„

spark.driver.extraJavaOptions –Dlog4j.configuration=file:///spark/conf/log4j.properties -
spark.executor.extraJavaOptions –Dlog4j.configuration=file:///spark/conf/log4j.properties -Dapplication.properties.file=hdfs:///some/path/on/hdfs/app.properties
spark.application.properties.file hdfs:///some/path/on/hdfs/app.properties

„

Możesz przeczytać mój wpis na blogu o ogólnych konfiguracjach Spark. Biegam również na Yarn.

--files <location_to_your_app.conf> --conf 'spark.executor.extraJavaOptions=-Dconfig.resource=app' --conf 'spark.driver.extraJavaOptions=-Dconfig.resource=app'

jeśli napiszesz w ten sposób to późniejszy --confnadpisze poprzedni, możesz to zweryfikować zaglądając do sparkUI po uruchomieniu zadania w Environmentzakładce.

więc poprawnym sposobem jest umieszczenie opcji w tej samej linii, jak ta: --conf 'spark.executor.extraJavaOptions=-Da=b -Dc=d' jeśli to zrobisz, możesz znaleźć wszystkie swoje ustawienia, które zostaną pokazane w sparkUI.

Uruchamiam moją aplikację Spark za pomocą polecenia spark-submit uruchomionego z innej aplikacji Scala. Więc mam Array jak

Array(".../spark-submit", ..., "--conf", confValues, ...)

gdzie confValuesjest:

• dla yarn-clustertrybu:
  "spark.driver.extraJavaOptions=-Drun.mode=production -Dapp.param=..."
• dla local[*]trybu:
  "run.mode=development"

Trochę trudno jest jednak zrozumieć, gdzie (nie) należy unikać cudzysłowów i spacji. Możesz sprawdzić interfejs internetowy Spark pod kątem wartości właściwości systemowych.

spark-submit --driver-java-options "-Denv=DEV -Dmode=local" --class co.xxx.datapipeline.jobs.EventlogAggregator target/datapipeline-jobs-1.0-SNAPSHOT.jar

U mnie działa powyższe polecenie:

-Denv=DEV=> czytać plik właściwości DEV env i
-Dmode=local=> tworzyć SparkContext w lokalnym - .setMaster ("local [*]")

Użyj metody jak w poniższym poleceniu, może być dla Ciebie pomocne -

spark-submit --master local [2] --conf 'spark.driver.extraJavaOptions = Dlog4j.configuration = file: /tmp/log4j.properties' --conf 'spark.executor.extraJavaOptions = -Dlog4j.configuration = plik: /tmp/log4j.properties ' --class com.test.spark.application.TestSparkJob target / application-0.0.1-SNAPSHOT-jar-with-dependencies.jar prod

Próbowałem i zadziałało dla mnie, proponuję również przejść przez nagłówek poniżej Spark Post, który jest naprawdę pomocny - https://spark.apache.org/docs/latest/running-on-yarn.html

Pierwotnie miałem ten plik konfiguracyjny:

my-app {
  environment: dev
  other: xxx
}

Oto jak ładuję konfigurację w moim kodzie Spark Scala:

val config = ConfigFactory.parseFile(File<"my-app.conf">)
  .withFallback(ConfigFactory.load())
  .resolve
  .getConfig("my-app")

W tej konfiguracji, pomimo tego, co mówi dokumentacja Typesafe Config i wszystkie inne odpowiedzi, nadpisanie właściwości systemu nie działało, gdy uruchomiłem moją iskierkę w następujący sposób:

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --name my-app \
  --driver-java-options='-XX:MaxPermSize=256M -Dmy-app.environment=prod' \
  --files my-app.conf \
  my-app.jar

Aby to działało, musiałem zmienić plik konfiguracyjny na:

my-app {
  environment: dev
  environment: ${?env.override}
  other: xxx
}

a następnie uruchom go w ten sposób:

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --name my-app \
  --driver-java-options='-XX:MaxPermSize=256M -Denv.override=prod' \
  --files my-app.conf \
  my-app.jar