在 ibm bluemix 上提交 spark-submit

Question

我刚刚注册了一个“Analitycs for Apache Spark”的免费实例，并按照此tutorial 使用 spark 提交 ibm ad hoc 设计的脚本在我的本地计算机上运行 bluemix 云集群上的应用程序。问题如下：我已经完成了教程中描述的所有内容并使用了这个脚本

./spark-submit.sh --vcap ./vcap.json --deploy-mode cluster --master
 https://spark.eu-gb.bluemix.net --files /home/vito/vinorosso2.csv
 --conf spark.service.spark_version=2.2.0 
/home/vito/workspace_2/sbt-esempi/target/scala-2.11/isolationF3.jar 
--class  progettoSisDis.MasterNode

一切正常（数据集 vinorosso2.csv 和我的 fatJar 已正确上传），直到终端 sais ：“提交完成”此时我转到脚本创建的日志文件时出现以下错误消息：

提交作业结果：HTTP请求中的无效计划和火花版本组合（ibm.SparkService.PayGoPersonal，2.0.0）

提交 ID： 错误：提交作业时出现问题。退出

那么，为 apache spark 注册一个免费的 Analitycs 实例来提交 Spark 作业还不够吗？希望有人可以提供帮助。顺便说一句，如果有帮助，在我的本地机器上，我正在使用带有 intellij idea (scala) 的 spark。再见

Answer 1

从https://console.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic2.html#using_spark-submit 开始，您需要使用 Spark 版本 1.6.x 或 2.0.x。您的提交作业设置为版本 2.2.0。尝试使用spark.service.spark_version=2.0.0 提交（假设您的代码可以使用此版本的 Spark）。