Apache Spark: Jak używać pyspark w Pythonie 3

95

Zbudowałem Spark 1.4 od mistrza rozwoju GH i kompilacja przebiegła pomyślnie. Ale kiedy robię bin/pyspark, otrzymuję wersję Pythona 2.7.9. Jak mogę to zmienić?

python python-3.x apache-spark

— tchakravarty
źródło

7

Dla każdego, kto szuka, jak to zrobić: PYSPARK_DRIVER_PYTHON=ipython3 PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pysparkw takim przypadku działa notebook IPython 3.

— tchakravarty

145

Po prostu ustaw zmienną środowiskową:

export PYSPARK_PYTHON=python3

jeśli chcesz, aby była to trwała zmiana, dodaj tę linię do skryptu pyspark.

— Rtik88
źródło

Zmienne środowiskowe można edytować w / etc / profile. Nie zapomnij uruchomić „source / etc / profile” po zapisaniu profilu, aby zmiany mogły zostać natychmiast zastosowane.

— Phyticist,

1

Oczywiście użyj export PYSPARK_PYTHON=python3.5dla Pythona 3.5

— Phyticist

4

Lepiej dodać to do, $SPARK_HOME/conf/spark-env.shwięc spark-submitużywa również tego samego interpretera.

— flow2k

@ flow2k to lepszy pomysł. Tnx

— mohammad RaoofNia

32

PYSPARK_PYTHON=python3 
./bin/pyspark

Jeśli chcesz uruchomić w Notatniku IPython, napisz:

PYSPARK_PYTHON=python3 
PYSPARK_DRIVER_PYTHON=ipython 
PYSPARK_DRIVER_PYTHON_OPTS="notebook" 
./bin/pyspark

Jeśli python3nie jest dostępny, musisz zamiast tego podać do niego ścieżkę.

Należy pamiętać, że aktualna dokumentacja (stan na 1.4.1) zawiera nieaktualne instrukcje. Na szczęście został poprawiony .

— Piotr Migdal
źródło

1

Myślę, że twoje polecenie dotyczące Notatnika IPython jest nieprawidłowe. Powinno wyglądać tak: PYSPARK_PYTHON = python3 PYSPARK_DRIVER_PYTHON = ipython3 PYSPARK_DRIVER_PYTHON_OPTS = "notebook" ./bin/pyspark

— SpiderRico

@ChrisNielsen W terminalu.

— Piotr Migdal,

@ChrisNielsen W Linuksie lub OS X to terminal / konsola. Nie mam pojęcia, jak to działa pod Windowsem (w Windows używałem Spark'a tylko na kontenerze Docker).

— Piotr Migdal

@SpiderRico Wydaje się, że nie działają na moim Macu. Aby Notatnik Jupyter pracował dla Spark, użyj następującego. PYSPARK_PYTHON = python3 PYSPARK_DRIVER_PYTHON = jupyter PYSPARK_DRIVER_PYTHON_OPTS = "notebook" ./bin/pyspark

— Hank Chan

9

1, edytuj profil:vim ~/.profile

2, dodaj kod do pliku: export PYSPARK_PYTHON=python3

3, wykonaj polecenie: source ~/.profile

4, ./bin/pyspark

— Yangh
źródło

4

Zajrzyj do pliku. Linia shebang jest prawdopodobnie wskazywana na plik binarny „env”, który przeszukuje ścieżkę w poszukiwaniu pierwszego zgodnego pliku wykonywalnego.

Możesz zmienić Pythona na python3. Zmień env, aby bezpośrednio używać zakodowanego na stałe pliku binarnego python3. Lub uruchom plik binarny bezpośrednio w pythonie3 i pomiń linię shebang.

— rfkortekaas
źródło

1

Tak, zajrzenie do akt pomogło. Potrzebne do ustawienia PYSPARK_PYTHONzmiennej środowiskowej.

— tchakravarty

4

W przypadku Jupyter Notebook edytuj spark-env.shplik, jak pokazano poniżej, z wiersza poleceń

$ vi $SPARK_HOME/conf/spark-env.sh

Idź do dołu pliku i skopiuj, wklej te linie

export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

Następnie po prostu uruchom następujące polecenie, aby uruchomić pyspark w notatniku

$ pyspark

— oya163
źródło