Aktualizacja (10.01.2018):
W przypadku platformy Spark 2.2+ najlepszym sposobem na to jest prawdopodobnie użycie funkcji to_date
lub to_timestamp
, które obsługują format
argument. Z dokumentów:
>>> from pyspark.sql.functions import to_timestamp
>>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
>>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect()
[Row(dt=datetime.datetime(1997, 2, 28, 10, 30))]
Oryginalna odpowiedź (dla Spark <2.2)
Jest możliwe (preferowane?) Zrobienie tego bez udf:
from pyspark.sql.functions import unix_timestamp, from_unixtime
df = spark.createDataFrame(
[("11/25/1991",), ("11/24/1991",), ("11/30/1991",)],
['date_str']
)
df2 = df.select(
'date_str',
from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date')
)
print(df2)
df2.show(truncate=False)
groupBy
lub operacje ponownego próbkowania. Po prostu wykonaj je na kolumnach strun.