我们需要任何外部 jar 来在 Spark 中解析 xml 吗？答案

【问题标题】：Do we need any external jar for xml parsing in Spark?我们需要任何外部 jar 来在 Spark 中解析 xml 吗？
【发布时间】：2017-05-11 15:55:18
【问题描述】：

我正在尝试在 Spark 中解析 XML。我得到以下错误。你能帮帮我吗？

import org.apache.spark.sql.SQLContext
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object TestSpark{
 def main(args:Array[String})
 {
 val conf = new SparkConf().setAppName("Test")
 val sc = new SparkContext(conf)
 val sqlContext = new SQLContext(sc)
 val df = sqlContext.read
 .format("com.databricks.spark.xml")
 .option("rootTag", "book") 
 load("c:\\sample.xml")
 }
}`

错误： Exception in thread "main" java.lang.ClassNotFoundException: Failed to load class for data source: com.databricks.spark.xml.

【问题讨论】：

标签： apache-spark

【解决方案1】：

除了databricks spark xml，不需要其他外部jar。您需要为 2.0+ 添加依赖项。如果您使用的是旧版 Spark，则无需使用 this。

你需要使用

groupId: com.databricks
artifactId: spark-xml_2.11
version: 0.4.1

【讨论】：

【解决方案2】：

将 Scala 版本与 Spark 匹配。从 2.0 版开始，Spark 默认使用 Scala 2.11 构建。 Scala 2.10 用户应该需要 Spark 源代码包并使用 Scala 2.10 支持构建。这可能会有所帮助

Compatibility issue with Scala and Spark for compiled jars
spark-xml

【讨论】：