Pytania otagowane jako spark-submit

20
Jak zatrzymać wyświetlanie komunikatów INFO na konsoli Spark?
Chciałbym zatrzymać różne komunikaty, które pojawiają się w powłoce iskry. Próbowałem edytować log4j.propertiesplik, aby zatrzymać te komunikaty. Oto zawartość log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # Settings to quiet third party logs that are too verbose log4j.logger.org.eclipse.jetty=WARN …

6
Dodaj słoiki do pracy Spark - przesyłanie iskier
To prawda ... dużo o tym dyskutowano. Istnieje jednak wiele niejasności, a niektóre z udzielonych odpowiedzi ... w tym powielanie odniesień do jar w konfiguracji lub opcjach jars / executor / sterownik. Niejednoznaczne i / lub pominięte szczegóły W związku z niejednoznacznością, niejasnymi i / lub pominiętymi szczegółami należy wyjaśnić …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.