亚马逊 Ec2 原型设计

Question

人们（和初创公司）实际上如何在亚马逊上进行原型设计/部署并保持合理的成本？上个月我们正在试验一些特定的应用程序并运行自己的 hadoop 集群并设法花费近 1.5k 来进行测试？当然——他们有微型实例，但是如果你的应用程序如此密集以至于实际上需要一个更大的实例来测试呢？所以我想了解一下人们是如何做到这一点的？

Answer 1

几个关键问题：

1. 出于某些目的考虑使用本地测试平台并考虑给定测试是否真的需要 EC2。如果将 2-4 台机器用作 Hadoop 的测试平台真的很难，那么问题就不同了。了解您将要运行的任何内容，Hadoop 将如何发挥作用，并对此有所了解。随着时间的推移，您还需要更改网格、升级软件、修补其他想法等。当您使用 EC2 时，您已经平滑了一些粗糙的边缘。
2. 在掌握事情的窍门时，不要使用比您需要的更大容量的机器。如果您在此阶段没有推送大量数据或计算周期，请不要为集群计算节点、大量 RAM 实例等而烦恼。只需专注于正确设置即可。
3. 当您准备好重新定位到更强大的机器时，请尝试几种不同的机器设置。也许集群计算实例会得到回报，也许你不需要那种吞吐量：在你知道你的瓶颈之前，不要超支。
4. 确保在测试阶段经常使用 Spot 实例。您通常需要支付约 50% 的按需价格。
5. 如果您想为按需实例付费，请根据需要使用单独的实例启动和停止 Hadoop 实例 - 除非您需要一个全部在集群计算实例上的大型集群。
6. 让您的 AMI 尽快启动（不到 1 分钟），如果没有必要，切勿让任何东西在夜间或周末运行。

在您设置并运行系统之前，您基本上是在支付学费来学习如何根据您的需要定制一切。只需支付“学费”来学习每节课（配置、瓶颈、扩展等），而不是试图一次完成所有事情。当您将其视为一系列要学习的课程时，花钱的痛苦会减轻，但只要您知道要测试和学习的内容，您也会更明智地花钱。

最后，将 1500 美元与这种学习体验的人工成本进行比较 - 从长远来看，这可能没什么大不了的。一旦你知道某件事将成为一个合理的计算工作块，它设计得很好，并且会很快完成（尽管在许多机器上），花钱在它上面就不那么痛苦了。目前，您很难欣赏您正在学习的内容，因为它尚未有利于您组织的目标。

Answer 2

在使用 Amazon Cloud 进行概念验证时解决成本问题。

我使用 Amazon AWS API 创建了一个轻量级 Java 应用程序，当我想对它们运行测试时，它会创建亚马逊云实例。一旦测试完成或启动失败，应用程序会立即通过发送诊断邮件终止实例。

因此，没有任何亚马逊实例可以一直运行或保持理想状态。如果您手动或通过单独的程序创建/终止，可能会发生这种情况。

Answer 3

考虑使用 Spot 实例。如果你出价过高，你几乎可以肯定它不会被终止。从长远来看，它们具有一定程度的预留实例价格，但您无需预先支付。我相信您还可以将测试安排在非高峰时间，达到更好的价格，或者如果现货实例价格超过按需价格，则切换到按需 - Hadoop 应该可以很好地处理它。检查this article about spot instances。它还引用了另外两篇分析 Spot 实例潜力的文章。