Zastąp wszystkie wartości liczbowe w ramce danych pyspark stałą wartością

Rozważ ramkę danych typu pyspark składającą się z elementów „zerowych” i elementów numerycznych. Zasadniczo elementy liczbowe mają różne wartości. Jak można zastąpić wszystkie wartości liczbowe ramki danych stałą wartością liczbową (na przykład wartością 1)? Z góry dziękuję!

Przykład ramki danych pyspark:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 0.04 & 1 & 1.35 \\ 2 & -1 & null & -1.2 \\ 3 & null & 1.2 & null \end{array}$$

Wynik powinien być:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Jeśli chodzi o twój problem, myślę, że może być łatwiejszy w użyciu oświetlony . Spróbuj tego-

from pyspark.sql.functions import lit
new_df = df.withColumn('column_name', lit(1))

Mam nadzieję, że to pomoże!

Użycie litspowoduje przekonwertowanie wszystkich wartości kolumny na podaną wartość.

Aby to zrobić tylko dla niepustych wartości ramki danych, należy przefiltrować niepuste wartości każdej kolumny i zastąpić swoją wartość. whenmoże pomóc Ci to osiągnąć.

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1))
  .withColumn('c2', when(df.c2.isNotNull(), 1))
  .withColumn('c3', when(df.c3.isNotNull(), 1))

Spowodowałoby to:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Ponadto, jeśli chcesz zastąpić te wartości null innymi wartościami, możesz użyć ich otherwisew połączeniu z when. Powiedzmy, że chcesz 0tam przypisać :

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1).otherwise(0))
  .withColumn('c2', when(df.c2.isNotNull(), 1).otherwise(0))
  .withColumn('c3', when(df.c3.isNotNull(), 1).otherwise(0))

Spowodowałoby to:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & 0 & 1 \\ 3 & 0 & 1 & 0 \end{array}$$

Byłoby łatwiej, jeśli masz wiele kolumn:

from pyspark.sql.functions import when   
cols = df.columns # list of all columns
for col in cols:
    df= df.withColumn(col, when(df[col]>0,1).otherwise(0))