提交 Spark 作业未加载 spark-cloudant:2.0.0-s_2_11 包答案

【问题标题】：Submit Spark job is not loading spark-cloudant:2.0.0-s_2_11 package提交 Spark 作业未加载 spark-cloudant:2.0.0-s_2_11 包
【发布时间】：2017-04-17 01:43:13
【问题描述】：

我正在使用以下命令提交 Spark，

./spark-submit --packages cloudant-labs:spark-cloudant:2.0.0-s_2.11 --class spark.cloudant.connecter.cloudantconnecter --master local[*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar

但似乎“spark-cloudant”包没有加载.. 可能是因为位于 Spark Packages 存储库中的工件没有加载（https://dl.bintray.com/spark-packages/maven/）

那么加载包需要在命令中进行哪些更改？

此包的完整详细信息显示在这里 https://mvnrepository.com/artifact/cloudant-labs/spark-cloudant/2.0.0-s_2.11

【问题讨论】：

标签： apache-spark apache-spark-sql cloudant

【解决方案1】：

使用 Spark-submit 命令加载包时似乎需要添加存储库，

-- 仓库地址

所以新命令将是，

./spark-submit --packages cloudant-labs:spark-cloudant:2.0.0-s_2.11 --repositories https://dl.bintray.com/spark-packages/maven/ --class spark.cloudant.connecter.cloudantconnecter --master local[*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar

【讨论】：