AWS Data Pipeline EmrCluster 的安全配置字段

Question

我通过 AWS 管理控制台上的常规 EMR 集群向导创建了一个 AWS EMR 集群，并且我能够选择一个安全配置，例如，当您导出 CLI 命令时它是 --security-configuration 'mySecurityConfigurationValue'。

我现在需要通过 AWS Data Pipeline 创建一个类似的 EMR，但我没有看到任何可以指定此安全配置字段的选项。

我看到的唯一类似字段是 EmrManagedSlaveSecurityGroup、EmrManagedMasterSecurityGroup、AdditionalSlaveSecurityGroups、AdditionalMasterSecurityGroups 和 SubnetId。我已经在我的管道配置中填写了所有这些内容，但我只需要指定安全配置。有什么想法吗？

Answer 1

很遗憾，DataPipeline 不支持安全配置功能（以及在 EMR 5.x 版本中引入的其他功能，例如使用自定义 AMI）。

对此的一种解决方案是：

1. 将管道中的 EmrCluster 替换为 EC2 资源
2. 在 EC2 资源上使用 ShellCommandActivity 来运行 aws emr create-cluster CLI 命令
3. 使用引导步骤到install TaskRunner on the cluster
4. 将管道中的所有 runsOn 属性替换为 workerGroup，以便任务在您在步骤 2 中创建的 EMR 集群上运行
5. 在管道末尾添加最后一个 ShellCommandActivity 以使用 CLI 终止集群

现在，由于您使用 CLI 启动集群，因此您可以访问各种功能，例如安全配置、自定义 AMI、实例队列等，并且您仍然可以使用 DataPipeline 编排任务。