【问题标题】:How to upgrade Apache Spark version如何升级 Apache Spark 版本
【发布时间】:2015-10-16 19:19:02
【问题描述】:

目前,我已经使用 spark-ec2.sh 脚本在 AWS 上安装了 Spark 1.5.0 版本。

现在,我想将我的 Spark 版本升级到 1.5.1。我该怎么做呢?是否有任何升级程序或者我必须使用 spark-ec2 脚本从头开始构建它?在这种情况下,我将丢失所有现有配置。

请指教

谢谢

【问题讨论】:

  • 查看我关于 AWS 部分的回答 here
  • @eliasah 我没有在 AWS 上使用任何 EMR 和 S3

标签: apache-spark spark-ec2


【解决方案1】:

1.5.11.5.0 具有相同的配置字段,我不知道任何自动化工具,但升级应该是微不足道的。 C/P $SPARK_HOME/conf 就足够了。不过,备份旧文件。

【讨论】:

  • 是的,但是 spark-ec2.sh 脚本为 AWS 上的 Spark 做了一些额外的配置。那么我是如何在不了解所有设置和配置的情况下从源代码构建 spark 的。
猜你喜欢
  • 2016-02-26
  • 2023-03-25
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-08-03
  • 2020-04-19
相关资源
最近更新 更多