Pyspark：将列从字符串数字转换为时间戳类型

Question

我希望将字符串格式的数字转换为时间戳。

示例：

+--------+-------------------+
|date_str|expected date      |
+--------+-------------------+
|1.63E+15|1991-11-25 13:39:00|
|1.63E+15|1991-11-25 13:40:00|
|1.63E+15|1991-11-25 13:41:00|
+--------+-------------------+

我尝试使用 to_timestamp() 但返回 Null 值。也转换为unix_timestamp，但没有运气。

sdf1.select(F.to_timestamp(sdf1.date_str, 'yyyy/MM/dd HH:mm:ss').alias('date')).show()
sdf1.select(to_timestamp('date_str', 'dd/MM/yyyy HH:mm:ss')).show()

Answer 1

首先，您要求的转换是不可能的。相同的输入不能产生不同的输出。应该是：

+--------+-------------------+
|date_str|expected date      |
+--------+-------------------+
|1.63E+15|1991-11-25 13:39:00|  # Same "expected date" at each line
|1.63E+15|1991-11-25 13:39:00|
|1.63E+15|1991-11-25 13:39:00|
+--------+-------------------+

那么，您需要的函数可能是from_unixtime - 将数字格式的时间戳转换为字符串/时间戳格式的时间戳：

time_df = spark.createDataFrame([(1428476400,)], ['unix_time'])

time_df.select(from_unixtime('unix_time').alias('ts')).collect()
# [Row(ts='2015-04-08 00:00:00')]

唯一的问题是，在您的示例中，您的数字长度为 16 位 (E+15)，这对于 unix 时间戳而言过于精确。您可能应该将其除以 1000000。

from pyspark.sql import functions as F, types as T

df.withColumn(
    "date_num", F.col("date_str").cast(T.DecimalType(16, 0)) / 1000000
).withColumn(
    "date", F.from_unixtime("date_num")
).show()
+--------+-------------------+-------------------+
|date_str|           date_num|               date|
+--------+-------------------+-------------------+
|1.63E+15|1630000000.00000000|2021-08-26 17:46:40|
+--------+-------------------+-------------------+