Rozważ 2 ramki dataFrames:
>>> aDF.show()
+---+----+
| id|datA|
+---+----+
| 1| a1|
| 2| a2|
| 3| a3|
+---+----+
i
>>> bDF.show()
+---+----+
| id|datB|
+---+----+
| 2| b2|
| 3| b3|
| 4| b4|
+---+----+
Aby osiągnąć to, czego szukasz, istnieją 2 sposoby:
1. Różne warunki łączenia. Zamiast mówić aDF.id == bDF.id
aDF.join(bDF, aDF.id == bDF.id, "outer")
Napisz to:
aDF.join(bDF, "id", "outer").show()
+---+----+----+
| id|datA|datB|
+---+----+----+
| 1| a1|null|
| 3| a3| b3|
| 2| a2| b2|
| 4|null| b4|
+---+----+----+
To automatycznie pozbędzie się dodatkowego procesu upuszczania.
2. Użyj aliasingu: w tym przypadku utracisz dane związane z określonymi identyfikatorami B.
>>> from pyspark.sql.functions import col
>>> aDF.alias("a").join(bDF.alias("b"), aDF.id == bDF.id, "outer").drop(col("b.id")).show()
+----+----+----+
| id|datA|datB|
+----+----+----+
| 1| a1|null|
| 3| a3| b3|
| 2| a2| b2|
|null|null| b4|
+----+----+----+
ndf = df.drop('age')