从 Spark 1.5.2/1.6.2 连接到 Vertica 7.0.1答案

【问题标题】：Connect to Vertica 7.0.1 from Spark 1.5.2/1.6.2从 Spark 1.5.2/1.6.2 连接到 Vertica 7.0.1
【发布时间】：2017-09-25 01:42:59
【问题描述】：

我正在尝试从 spark 连接到 vertica。以下是我的代码：

val opt = Map("host" -> host , "table" -> table , "db" -> db , "numPartitions" -> partitions , "user" -> user , "password" -> pswd )
val df1 = sqlContext.read.format("com.vertica.spark.datasource.DefaultSource").options(opt).load()
df1.show()

我遇到了错误-

线程“main”java.lang.ClassNotFoundException 中的异常：找不到数据源：com.vertica.spark.datasource.DefaultSource。请在http://spark-packages.org 找到包裹在 org.apache.spark.sql.execution.datasources.ResolvedDataSource$.lookupDataSource(ResolvedDataSource.scala:77) 在 org.apache.spark.sql.execution.datasources.ResolvedDataSource$.apply(ResolvedDataSource.scala:102) 在 org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:119) 在 com.ConnectToVertica$.main(ConnectToVertica.scala:32) 在 com.ConnectToVertica.main(ConnectToVertica.scala)

我还检查了包 (http://spark-packages.org)，如错误所示，但没有找到任何适用于 Vertica 的包。如果我通过传递 Vertica 的 jar 来使用 spark-submit 执行相同的代码，它工作正常，但直接从 IDE 给我这个错误。我也尝试使用 spark 1.6.2 并得到相同的错误。

【问题讨论】：

标签： scala apache-spark vertica

【解决方案1】：

看起来您还没有在类路径中添加 jar 文件。从以下 url 下载 jar，添加到类路径并尝试相同。

https://www.qzhou.com.cn/user/bdy/3477137749

我有时会在找不到 hpe-spark 连接器的情况下面临同样的问题。希望这会有所帮助

【讨论】：