在 spark 1.6.1 上读取 spark csv 的问题答案

【问题标题】：Issue with spark csv reading on spark 1.6.1在 spark 1.6.1 上读取 spark csv 的问题
【发布时间】：2016-11-21 22:27:37
【问题描述】：

当我尝试读取 CSV 文件时遇到错误。我使用 spark 1.6.1 这是我的代码

 val reftable_df = sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") 
    .option("inferSchema", "true") 
    .load("/home/hadoop1/Reference_Currencyctoff.csv")
    reftable_df.show()

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat
        at com.databricks.spark.csv.package$.<init>(package.scala:27)
        at com.databricks.spark.csv.package$.<clinit>(package.scala)
        at com.databricks.spark.csv.CsvRelation.inferSchema(CsvRelation.scala:218)
        at com.databricks.spark.csv.CsvRelation.<init>(CsvRelation.scala:72)
        at com.databricks.spark.csv.DefaultSource.createRelation(DefaultSource.scala:157)
        at com.databricks.spark.csv.DefaultSource.createRelation(DefaultSource.scala:44)
        at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.apply(ResolvedDataSource.scala:158)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:119)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:109)
        at scb.HBaseBroadcast$.main(HBaseBroadcast.scala:138)
        at scb.HBaseBroadcast.main(HBaseBroadcast.scala)

注意：我已经厌倦了以下 CSV 依赖项

Spark Csv » 1.3.0 Spark CSV » 1.3.1 Spark CSV » 1.4.0 Spark CSV » 1.5.0

谢谢！

【问题讨论】：

标签： apache-spark apache-spark-sql

【解决方案1】：

我遇到了同样的问题

--jars /path/to/spark-csv.jar,/path/to/commons-csv.jar

解决了这个问题。

commons-csv.jar 有这个类

您可以使用jar -tvf commons-csv.jar | grep CSVFormat查看课程

【讨论】：

【解决方案2】：

在启动 spark shell 时试试这个

bin/spark-shell --packages com.databricks:spark-csv_2.10:1.5.0

包含这个包

【讨论】：