Spark AMI for Ubuntu（或者可能是 Centos）——不是 amazon linux？答案

【问题标题】：Spark AMI for Ubuntu (or maybe Centos) - NOT amazon linux?Spark AMI for Ubuntu（或者可能是 Centos）——不是 amazon linux？
【发布时间】：2015-02-20 20:11:45
【问题描述】：

spark 发行版包含一个 ec2 启动脚本，该脚本指向 github 中用于 spark ami 的位置。不幸的是，ami（只有一个）是亚马逊 linux——非常有限。特别是 amazon linux ami 对软件包的支持有限。

所以，例如，如果我想在 amazon linux 上获得 php5.4（而不是默认的 5.3） - 没有这样的运气。

是否有任何非亚马逊 linux ami 可用于 spark-ec2？

【问题讨论】：

我不知道有任何此类图像，但您可以使用 Packer 和 these scripts 轻松生成自己的 AMI。您只需编辑 these lines 以指定您要使用的基本 AMI。
在 1.4 发布时间框架内，我将尝试将其合并到 mesos/spark-ec2，以便社区可以维护它们。您可以在此处关注相关的 JIRA：SPARK-3821
@NickChammas 为什么不让您的 cmets 成为答案，以便我奖励。
顺便说一句，我一直在关注您在 dev spark ML 上的线程。你多产
谢谢。 :) 如果您最终尝试了 Packer 的东西并需要指针，请告诉我。很乐意提供帮助。

标签： amazon-ec2 apache-spark

【解决方案1】：

除了provided by the Spark project 之外，我不知道最新的 Spark AMI 集。

也就是说，我开发了一种方法，使用 Packer 从一组基本 AMI 和一些 Bash 脚本自动创建一组 Spark AMI：

https://github.com/nchammas/spark-ec2/tree/packer/image-build

这是作为SPARK-3821 的一部分完成的。

您需要做一些工作才能使其与 Ubuntu 一起使用，因为脚本当前假定为基于 yum 的 Linux 发行版。

基本上：

These lines 定义要构建的基础 AMI。
These lines 显示正在运行以构建映像的脚本。
These 和 these 行告诉 Packer 将构建的 AMI 复制到所有 EC2 区域。您可能想要更改此设置。

对您而言，成功的最短路径可能是尝试包含您正在寻找的软件包的 CentOS 或 Fedora 基础映像。这将最大限度地减少您必须对 Bash 脚本进行的更改。

在 Spark 1.4 发布时间范围内（大约 2015 年 6 月/7 月），我将努力将其合并到主要的 spark-ec2 存储库中。

【讨论】：