根据 CfnCluster 的配置文件估算 AWS 成本答案

【问题标题】：Estimate AWS costs based on a configuration file for CfnCluster根据 CfnCluster 的配置文件估算 AWS 成本
【发布时间】：2019-02-28 01:16:35
【问题描述】：

我正在尝试从使用 AWS 的人那里获得一些反馈，关于我们是否可以从 AWS 上配置的 HPC 集群进行粗略估计，如下所示

[aws]
aws_region_name = us-east-2

[cluster default]
key_name = xxxx
vpc_settings = vpc-xxxxx
compute_instance_type = c4.8xlarge
master_instance_type = c4.large
initial_queue_size = 4
max_queue_size = 20
maintain_initial_size = true
scheduler = sge
cluster_type = spot
spot_price = 1.60
placement_group = DYNAMIC
master_root_volume_size = 20
base_os = ubuntu1404
ebs_settings = custom

[ebs custom]
volume_type = io1
volume_iops = 2000
volume_size = 2000
encrypted = true

[vpc vpc-xxx]
vpc_id = vpc-xxx
master_subnet_id = subnet-xxxx

[global]
cluster_template = default
update_check = true
sanity_check = true

[aliases]
ssh = ssh {CFN_USER}@{MASTER_IP} {ARGS}

根据作业将在集群上运行多长时间，您是否认为可以大致了解 AWS 上的成本是多少？其中涉及很多东西，EC2 成本、存储成本等

鉴于这些将是现场实例（计算）而不是按需实例，我们如何获得估计

感谢您的想法

【问题讨论】：

标签： amazon-web-services hpc

【解决方案1】：

首先，我要告诉你一个好消息。您所在地区的按需 c4.8xlarge 实例的价格目前为每小时 1.591 美元。这也是您可以为 c4.8xlarge 现货实例支付的最高价格。此外，CfnCluster 默认使用当前现货市场价格，因此只需从配置文件中删除此行即可。

至于您的实际问题：这很复杂。
您当然可以轻松计算出最高价格。您的计算实例每小时将花费您最多 20*1.591=31.82$。但是，实际价格会低很多。通过使用 Spot 实例，您可以轻松预期价格是您为按需实例支付的费用的一半。此外，您的集群可能不会总是满负荷运行。

您可以在https://aws.amazon.com/ec2/spot/pricing/查看当前现货价格。

您的共享 EBS 量将花费大约 1000*0.125=125 美元每月，如 https://aws.amazon.com/ebs/pricing/

所示

总而言之，您可能应该假设为您的 Spot 实例支付大约 20% 到 40% 的按需价格，具体取决于您希望估算成本的保守程度。基于此，您可以估算您将为特定数量的集群使用小时数支付多少费用。当然，您还需要估计平均将运行多少个节点。根据您当前的配置，这将在 4 到 20 之间变化。

【讨论】：

非常感谢托马斯

【解决方案2】：

您可以使用 AWS 计算器估算成本。他们有两个版本：

较新的https://calculator.aws/：我还没用过，但它看起来很不错，而且指导性也很好（就像一个教程）。
较早的https://calculator.s3.amazonaws.com/index.html：您只需在其中输入您的价值观并获得反馈。

我还建议您从旧的c4 系列迁移到新的c5。它们是更好的机器，也更便宜。 c4.8x 的等效项是 c5.9x。

计算器的缺点是它似乎不包括现货机估计。为此，您可以按照 Thomas 的建议进行数学运算。

【讨论】：