无法使用 aws cli 添加 AWS Data Pipeline 活动答案

【问题标题】：Unable to add AWS DataPipeline activity using awscli无法使用 aws cli 添加 AWS Data Pipeline 活动
【发布时间】：2017-01-09 13:00:25
【问题描述】：

我有很多 DynamoDB 表来在 Data Pipeline 中设置备份。我可以通过 aws 命令行为 1 个或 2 个表传递一个 json 文件，这意味着 JSON 文件正在工作。

但是，当我传递一个大型 JSON（包含 50-100 个 DynamoDB 表）来设置 DataPipeline 时，我收到此错误：

调用时发生错误（InvalidRequestException） PutPipelineDefinition 操作：超出 Web 服务限制：超出每个管道允许的最大对象数

我可以为每个 DynamoDB 表创建每个 JSON。但问题是之前的 DataPipeline 会被下一个 JSON 覆盖。

我使用的 AWS 命令是：

aws datapipeline put-pipeline-definition --pipeline-id df-XXXXXXXXXXXXX --pipeline-definition file:///home/varun/Desktop/df-XXXXXXXXXXXXX.json

我的主要问题：如果我将 put-pipeline-definition 与多个 JSON 一起使用，有什么方法不覆盖数据管道活动？

编辑： 1.我有如下图的数据管道

以下是数据管道内的数据节点和活动（备份）：

我必须使用 JSON 创建多个（读取约 50 个）活动和数据节点。 json 适用于 1 个活动，但对于第二个活动，它会覆盖现有的。

【问题讨论】：

标签： amazon-web-services aws-cli amazon-data-pipeline

【解决方案1】：

您需要为每个 json 创建一个单独的管道：

aws datapipeline create-pipeline --pipeline-name mytable --unique-id mytable 
aws datapipeline put-pipeline-definition --pipeline-id <ID from previous command> --pipeline-definition file://mytable.json

【讨论】：

我已经添加了一些截图.. 请检查一下。