【问题标题】:Where does Spark job server look for Spark?Spark 作业服务器在哪里寻找 Spark?
【发布时间】:2016-09-19 19:38:30
【问题描述】:

我从 github 克隆了 spark 作业服务器并运行 sbt 和 sbt job-server-tests/package 并重新启动。我运行了 WordCountExample。我的问题是: 1. 作业服务器在哪里寻找基础 Spark jar 来运行作业?或者它有自己的版本。 2. 我在运行作业服务器的机器上运行 Spark 2.0。github 文档说支持的 Spark 版本是 1.6.2。知道我是否可以将它与 2.0 一起使用(当然风险自负)。有人试过吗?

【问题讨论】:

    标签: apache-spark spark-jobserver


    【解决方案1】:
    1. Spark 是 spark-jobserver 的依赖项。因此,如果您使用 job-server/reStart,它会使用依赖库来运行 spark。
    2. 目前 spark-jobserver 支持 Spark 1.6.2。我们尚未开始 2.0.0 的工作
    3. 有人有一个 2.0 更改的分支,请参阅此处https://github.com/spark-jobserver/spark-jobserver/issues/570

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-05-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-08-31
    相关资源
    最近更新 更多