Spark SQL 不支持的数据类型 TimestampType答案

【问题标题】：Spark SQL Unsupported datatype TimestampTypeSpark SQL 不支持的数据类型 TimestampType
【发布时间】：2014-12-06 03:06:22
【问题描述】：

我只是 spark 和 scala 的新手。尝试读取文本文件并将其保存为 parquet 文件。对我来说，我正在使用的领域之一是 TimeStamp，它的文档说 spark1.1.0 支持 java.util.TimeStamp。

我在保存到镶木地板文件时遇到的运行时错误是

线程“主”java.lang.RuntimeException 中的异常：在 org.apache.spark.sql.parquet.ParquetTypesConverter$$anonfun$ 的 scala.sys.package$.error(package.scala:27) 中不受支持的数据类型 TimestampType fromDataType$2.apply(ParquetTypes.scala:301)

任何建议都是非常值得赞赏的。

谢谢

【问题讨论】：

标签： scala apache-spark

【解决方案1】：

这实际上是 1.3.0 之前版本的一个已知错误：https://issues.apache.org/jira/browse/SPARK-4987

已经合并了一个拉取请求：https://github.com/apache/spark/pull/3820，但在 1.3.0 发布之前它将不可用。

如果赶时间，可以在本地搭建 1.3.0 的 master 分支，否则可能需要等待，但还是有希望的，因为昨天 Spark 1.3.0 的 RC2 开始投票为最终版本，所以如果候选版本一切正常，事情就会进展得很快。

问候，

【讨论】：