Spark EC2 对 Windows 的支持答案

【问题标题】：Spark EC2 support for WindowsSpark EC2 对 Windows 的支持
【发布时间】：2015-02-24 05:47:05
【问题描述】：

所有关于在 Amazon EC2 上部署 Spark 集群的文档都与 Linux 环境相关。然而，目前我的分布式项目依赖于一些 Windows 功能，我想在进行必要更改的同时开始使用 Windows 集群。 p>

我想知道是否有任何方法使我们能够以与 Sparkspark-ec2 脚本相对相似的方式在 EC2 上部署 Windows Spark 集群/em>。

【问题讨论】：

【解决方案1】：

spark-ec2 目前仅支持使用specific Linux AMIs 在 EC2 中启动集群，因此目前无法使用该工具部署 Windows Spark 集群。我怀疑spark-ec2 会不会有这种能力，因为它使用的所有设置脚本都假设一个 Linux 主机。

也就是说，Databricks 最近宣布了一个community-managed index of Spark packages，人们一直在那里添加东西。比如已经有一个包让你launch Spark clusters on Google's Compute Engine。

虽然目前似乎没有任何适合您的东西，但我会密切关注社区索引，寻找可以让您在 EC2 上启动 Windows Spark 集群的东西。

【讨论】：

【解决方案2】：

在 Nick 建议的 Spark Packages 资源中，您可以看到 Sigmoid Analytics 最近添加的项目 - 可让您在 Azure 上启动 Spark 集群 - spark_azure：

【讨论】：