Spark、Cassandra 和 Kafka (SMACK) SaaS 或 PaaS 提供商答案

【问题标题】：Spark, Cassandra and Kafka (SMACK) SaaS or PaaS providersSpark、Cassandra 和 Kafka (SMACK) SaaS 或 PaaS 提供商
【发布时间】：2016-09-24 18:17:08
【问题描述】：

我们正在评估 SaaS 和 PaaS 提供商的 SMACK 技术堆栈。

我们想在 AWS 上托管节点。

到目前为止，我们找到了以下替代方案：

DCOS (https://dcos.io/)
Instaclustr (https://www.instaclustr.com/)
AWS ec2 - 我们必须手动完成所有部署和管理
Datastax（它只有 Cassandra，我们必须部署 Spark 和 Kafka。根据文档，在 Datastax Analytics 中部署 Spark 非常容易）。问题还在于，在 Datastax Enterprise 的最新版本中，Spark 的版本不是 1.6（我认为是 1.4）

是否有任何可能的替代方案？

部署选项 3 (AWS ec2)“我们”（初学者）需要多长时间，以及之后需要多少管理时间？之后的缩放有多容易？

当然，我并不期待具体的数字和数字，只是来自那些进行过相同过程的人的一般意见和建议。

谢谢

【问题讨论】：

标签： apache-spark amazon-ec2 cassandra datastax-enterprise

【解决方案1】：

在MESOS-1554 (RESOLVED) 修复之前，出于性能原因，我不建议在 mesos 上运行 c* 或 DSE。

根据文档，在 Datastax Analytics 中很容易部署 Spark）。

DSE 实际上带有 spark，不需要集成。

问题还在于 Datastax 的最新版本 Spark的企业版不是1.6（我认为是1.4）

DSE 5.0 将随 spark 1.6.x 一起发布，并且很快就会成为 GA。

“我们需要多长时间”（初学者）部署选项 3 (AWS ec2)，以及需要多少管理时间在那之后？之后的缩放有多容易？

这不是一个容易客观回答的问题。在 datastax 学院免费参加 Opps 课程，并自行确定您是否有能力进行部署https://academy.datastax.com/courses/ds210-operations-and-performance-tuning

【讨论】：

感谢您的回答。 DSE 使用哪个集群管理器？ DSE 5.0的预计发布日期是什么时候？有 Kafka 部署说明吗？
Standalone+，DSE 有一个使用 paxos 实现的 zookeeperless HA spark master。我还没有确定的日期可以分享，但请继续发布公告。 kafka / dse 集成非常简单。这是一个例子github.com/retroryan/spark_streaming_aggregation
抱歉，可以看看这个问题吗：stackoverflow.com/questions/37482585/… 我们对 Datastax 非常感兴趣，但如果没有这些问题的答案，我不能保证我的主管 Datastax 是正确的选择。谢谢
您应该联系 sales@datastax 以获得解决方案工程师的支持。反正我去看看。