毫秒的快速转换

Question

自 1/1/1970 以来，Dataframe 有超过 100 亿条记录，时间以 bigint 形式存储，以毫秒为单位。我需要它作为日期 - 如下所示应用转换。有更快的方法吗？

spark.createDataFrame([[1365742800000],[1366866000000]], schema=["origdt"])\
  .withColumn("newdt", F.to_date((F.col("origdt")/1000).cast(TimestampType()))).show()

Answer 1

您所做的转换很好，为了提高速度，您可以使用repartition增加集群大小或增加分区以一次利用所有核心。