在 spark scala 中将 CDT 时间戳转换为 UTC 格式

Question

我的 Dataframe，myDF 如下所示 -

DATE_TIME
Wed Sep  6 15:24:27 CDT 2017
Wed Sep  6 15:30:05 CDT 2017

预期输出格式：

2017-09-06 15:24:27
2017-09-06 15:30:05

需要将 DATE_TIME 时间戳转换为 UTC。

在 databricks 笔记本中尝试了以下代码，但它不起作用。

%scala

val df = Seq(("Wed Sep  6 15:24:27 CDT 2017")).toDF("times")
df.withColumn("times2",date_format(to_timestamp('times,"ddd MMM dd hh:mm:ss CDT yyyy"),"yyyy-MM-dd HH:mm:ss")).show(false)

times                        | times2    
Wed Sep  6 15:24:27 CDT 2017 | null

Answer 1

我认为我们需要从您的字符串中删除 wed 然后使用 to_timestamp() 函数。

Example:

df.show(false)
/*
+---------------------------+
|times                      |
+---------------------------+
|Wed Sep 6 15:24:27 CDT 2017|
+---------------------------+
*/

df.withColumn("times2",expr("""to_timestamp(substring(times,5,length(times)),"MMM d HH:mm:ss z yyyy")""")).
show(false)
/*
+---------------------------+-------------------+
|times                      |times2             |
+---------------------------+-------------------+
|Wed Sep 6 15:24:27 CDT 2017|2017-09-06 15:24:27|
+---------------------------+-------------------+
*/