无法将 XMLTYPE 数据类型从 oracle 加载到 Spark SQL答案

【问题标题】：Unable to load XMLTYPE datatype from oracle into the Spark SQL无法将 XMLTYPE 数据类型从 oracle 加载到 Spark SQL
【发布时间】：2017-09-04 02:29:19
【问题描述】：

我有 6700 万条 Oracle 记录，其中一些列 XMLType 作为数据类型。

我正在使用Spark SQL 从Oracle 中提取所有记录，但我得到了

数据类型不支持错误

在 Spark 控制台中。

如何更改XMLType，使其能够成功加载到Spark SQL？

我的计划是将所有这些记录从Oracle 加载到Apache HBase 我正在使用Spark SQL 将加载加载到Apache HBase。

【问题讨论】：

我们也在寻求解决同样的问题，如果您有任何解决方案，请更新我们。谢谢。

标签： java hbase apache-spark-sql bigdata

【解决方案1】：

添加spark xml支持库如下是坐标

groupId：com.databricks artifactId：spark-xml_2.11 版本：0.4.1

然后您可以将 XML 文件作为数据框获取，例如：

import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val df = sqlContext.read
        .format("com.databricks.spark.xml")
        .option("rowTag", "book")
        .load("books.xml")

更多信息请关注XML Data Source for Apache Spark

将其转换为数据帧后，您可以在数据帧上执行 spark sql。

【讨论】：