在pyspark中将yyyymmdd转换为MM-dd-yyyy格式答案

【问题标题】：Converting yyyymmdd to MM-dd-yyyy format in pyspark在pyspark中将yyyymmdd转换为MM-dd-yyyy格式
【发布时间】：2016-12-30 07:19:40
【问题描述】：

我有一个包含日期列的大型数据框 df，格式为 yyyymmdd，如何在 pySpark 中将其转换为 MM-dd-yyyy。

【问题讨论】：

标签： apache-spark pyspark apache-spark-sql pyspark-sql

【解决方案1】：

from datetime import datetime
from pyspark.sql.functions import col,udf
from pyspark.sql.types import DateType


rdd = sc.parallelize(['20161231', '20140102', '20151201', '20161124'])
df1 = sqlContext.createDataFrame(rdd, ['old_col'])

# UDF to convert string to date
func =  udf (lambda x: datetime.strptime(x, '%Y%m%d'), DateType())

df = df1.withColumn('new_col', date_format(func(col('old_col')), 'MM-dd-yyy'))

df.show()

【讨论】：

感谢 mrsrinivas，我正在使用 Zeppelin，此代码运行时没有错误，但我无法对您的代码结果进行操作（操作或转换）。我对 Spark 很陌生，如果我遗漏了什么，请帮助我。
使用df.show() 进行最终输出。您可能已将数据加载到数据框（df1）
感谢 mrsinivas，我所缺少的只是一点改变，如果其他人觉得有用，我也会发布我的改变。再次感谢。
轻微的 sn-p 更正：它错过了from pyspark.sql.functions import date_format

【解决方案2】：

这也有效：

from datetime import datetime
from pyspark.sql.functions import col,udf,unix_timestamp
from pyspark.sql.types import DateType


func =  udf(lambda x: datetime.strptime(str(x), '%m%d%y'), DateType())

df2 = df.withColumn('date', func(col('InvcDate')))

【讨论】：

你得到这种格式的输出了吗MM-dd-yyyy。我认为它在yyyy-MM-dd 中给出。