如何将日期/时间戳字符串写入 Oracle DB 中的日期时间戳列？

Question

我使用 AVRO 文件格式和 Hive 外部表在 Hadoop 中存储了一些 Oracle 表来访问数据。
我在导入时使用 Oracle 的 TO_CHAR 函数将日期和时间戳值存储为格式化字符串。

现在我想用 Spark 将这些确切的数据导出回具有 Date 列的 Oracle 表。我使用命令：

// Create a data frame from the Hive table
val data = sqlContext.sql("select * from avro_table")

// export df to existing oracle table
data.write.mode("overwrite").jdbc(jdbcString, "tableName", prop)

然后我得到错误：

ORA-00902: 无效的数据类型

这是因为它试图将字符串插入日期列。是否有一种安全的方法可以将 Spark 数据帧中的日期/时间戳字符串插入 Oracle 日期/时间戳列？安全我的意思是不要丢失任何时区信息。

Answer 1

您应该使用to_date、to_timestamp 和/或date_format 函数将字符串化 日期/时间戳值转换为其对应的类型感知值。

date_format(dateExpr: Column, format: String): Column 将日期/时间戳/字符串转换为第二个参数给出的日期格式指定格式的字符串值。 p>

to_date(e: Column, fmt: String): Column 将列转换为具有指定格式的DateType（参见http://docs.oracle.com/javase/tutorial/i18n/format/simpleDateFormat.html）如果失败则返回null。

to_timestamp(s: Column, fmt: String): Column 将时间字符串转换为具有指定格式（参见http://docs.oracle.com/javase/tutorial/i18n/format/simpleDateFormat.html）的Unix时间戳（以秒为单位）到Unix时间戳（以秒为单位） , 失败则返回 null。

使用select 或withColumn 运算符。

示例代码如下：

data.withColumn("real_date", date_format(...))
  .write
  .mode("overwrite")
  .jdbc(jdbcString, "tableName", prop)