使用 Ambari 2.4.2.0 安装 spark 2.1.0答案

【问题标题】：installation for spark 2.1.0 with Ambari 2.4.2.0使用 Ambari 2.4.2.0 安装 spark 2.1.0
【发布时间】：2017-03-17 16:24:59
【问题描述】：

我对 Spark 和 Ambari 的集群安装比较陌生。最近，我有一个任务是在一个集群上安装 Spark 2.1.0，该集群预安装了 Ambari 和 Spark 1.6.2 以及 HDFS 和 YARN 2.7.3。

我的任务是安装 Spark 2.1.0，因为它是最新版本，与 RSpark 等具有更好的兼容性。我在互联网上搜索了几天，只在 AWS 或 Spark 2.1.0 上找到了一些安装指南。

但他们都没有提到不同版本的 Spark 的干扰。由于我需要保持此集群运行，因此我想了解集群的一些潜在威胁。

有没有一些合适的方法来做这个安装？非常感谢！

【问题讨论】：

您使用的是什么 ambari 堆栈以及哪个版本？ HDP、IOP、PHD 等？您希望 Spark2 由 Ambari 管理吗？
是的，我希望 Spark2 由 Ambari 管理。实际上我是 Ambari 的新手，不知道在哪里可以找到所有这些版本的 HDP、IOP、PHD，你能告诉我一个方法吗？非常感谢！
登录 ambari，在右上角单击 Admin 按钮，选择 Stacks and Version，单击 Versions 选项卡。它会告诉您当前使用的堆栈和版本。
它使用以下内容：HDP - 2.5.3.0，HDFS - 2.7.3 YARN - 2.7.3 MapReduce2 - 2.7.3 Tez - 0.7.0 Hive - 1.2.1000 Pig - 0.16.0 ZooKeeper - 3.4.6 Ambari Infra - 0.1.0 Ambari Metrics - 0.1.0 SmartSense - 1.3.1.0-136 Spark - 1.6.2 Slider - 0.91.0

【解决方案1】：

如果您想让您的 SPARK2 安装由 Ambari 管理，那么 SPARK2 必须由 Ambari 提供。

HDP 2.5.3 确实不支持 Spark 2.1.0，但是它提供了 Spark 2.0.0 的技术预览。

您的选择是：

手动安装 Spark 2.1.0，而不是由 Ambari 管理
使用 Spark 2.0.0 代替 HDP 2.5.3 提供的 Spark 2.1.0
使用不同的堆栈。 IE。 IBM 开放平台 (IOP) 4.3 计划于 2017 年发布，它将附带 Spark 2.1.0 支持。您可以立即通过technical preview release 开始使用它。
升级支持 Spark 2.1 的 HDP (2.6)。
扩展 HDP 2.5 堆栈以支持 Spark 2.1.0。您可以在wiki 上查看如何自定义和扩展 ambari 堆栈。这将让您使用 Spark 2.1.0 并由 ambari 管理它。但是，这将是很多工作要实施，而且由于您是 Ambari 的新手，所以这将相当困难。

【讨论】：

非常感谢！这真的向我展示了一条路要走，你知道在谷歌搜索上没有什么真正相关的。 :)
另外，我想知道手动安装 Spark 2.1.0 而不是由 Ambari 管理的难度。该行动会破坏 Ambari 系统吗？ Spark 2.1.0 会与之前安装在 Ambari Packages 中的 Spark 1.6.0 冲突吗？
我知道它们可以像 Cloudera 那样共存。但是我不确定要让它们在 Ambari 配置的平台上共存而不引起问题需要付出什么努力。在安装了 Spark 1.6 和 Spark 2.0 的集群上工作的 HDP 有一些文档：docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/…
你知道可靠的 Spark 2.1.0 安装指南吗？我见过很多不同版本的指南，但大多数都需要一个空系统。再次，非常感谢！