【问题标题】:Spark job server for spark 1.6.0Spark 1.6.0 的 Spark 作业服务器
【发布时间】:2016-07-09 15:57:14
【问题描述】:

是否有任何特定的 Spark Job Server 版本与 Spark 1.6.0 匹配? 根据https://github.com/spark-jobserver/spark-jobserver 中的版本信息,我看到 SJS 仅适用于 1.6.1,不适用于 1.6.0。 我们的 CloudEra 托管 Spark 在 1.6.0 上运行

我通过将 spark home 配置为 1.6.1 来部署 SJS。当我提交作业时,我看到正在生成作业 ID,但我看不到作业结果。 有输入吗?

【问题讨论】:

    标签: spark-jobserver


    【解决方案1】:

    不,没有与 spark 1.6.0 相关联的 SJS 版本。但是您应该很容易针对 1.6.0 进行编译。也许你可以修改这个https://github.com/spark-jobserver/spark-jobserver/blob/master/project/Versions.scala#L10 并尝试。

    【讨论】:

    • 谢谢诺鲁。 SJS bin 文件夹有 server_deploy.sh 和 server_package.sh。如果我从托管 spark 的机器上编译(不打算在服务器 A 上编译然后 ssh 到服务器 B),用户 server_package.sh 可以吗?似乎 this(server_package.sh) 脚本也像 server_deploy.sh 一样编译 SJS,但 ftping 除外。
    • 我认为从部署服务器所在的同一台机器上运行 server_deploy.sh 应该没问题。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-08-31
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多