【问题标题】:EMR & Spark adding dependencies after cluster creationEMR & Spark 在集群创建后添加依赖
【发布时间】:2016-06-14 22:20:08
【问题描述】:

是否可以在集群已经启动并运行后安装额外的库/依赖项?

我做过的与此相关的事情:

  • 我已经完成了预创建引导过程(这完全是一个不同的解决方案)
  • 或者,在集群启动后通过 SSH 连接到每个节点并安装依赖项

我认为启动后安装解决方案将涉及能够从驱动程序向所有执行程序发出命令。有没有办法做到这一点?

【问题讨论】:

    标签: amazon-web-services apache-spark elastic-map-reduce


    【解决方案1】:

    如果您想在步骤中添加其他依赖项,可以在步骤的命令中添加它们(即,对于 Spark,使用 --jars 选项)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-04-11
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-10-20
      • 2016-02-10
      • 1970-01-01
      相关资源
      最近更新 更多