在 AWS 上的管道中使用 AWS Spot 实例

Question

目前，尝试在 AWS 上使用 RDS 和 EC2 实例运行定量数据处理管道。管道的一部分需要强大的计算能力，但不是任务或时间关键，因此我想在那时使用 EC2 现货实例集群。

我一直在考虑使用 AWS Data Pipeline 产品来构建管道。但是，我不确定如何集成现场实例。 AWS 文档建议可以使用 Data Pipeline 在 AWS EMR 集群中使用 Spot 实例，但不能在它们之外使用。寻找建议或最佳做法。

Answer 1

Spot 实例可用于数据管道中的 EC2 和 EMR 资源。

对于 ec2 实例，您需要在资源上设置 bidPrice 属性。 ec2 资源的管道定义应如下所示。

    { 
      "id": "EC2Instance",
      "type": "Ec2Resource",
      "terminateAfter": "1 Hour",
      "spotBidPrice": "<my bid price from 0 to 20.0>"    
     }

对于 emr 集群，您需要在资源上设置 taskInstanceBidPrice 属性。 emr 资源的管道定义应如下所示。

    {
      "id" : "MyEmrCluster",
      "type" : "EmrCluster",
      "taskInstanceBidPrice": "<my bid price from 0 to 20.0>",
      "keypair" : "my-key-pair",
      "masterInstanceType" : "m3.xlarge",
      "coreInstanceType" : "m3.xlarge",
      "coreInstanceCount" : "10",
      "taskInstanceType" : "m3.xlarge",
      "taskInstanceCount": "10",
      "releaseLabel": "emr-4.1.0",
      "applications": ["spark", "hive", "pig"],
      "configuration": {"ref":"myConfiguration"}  
    }