CodePipeline：ECR 源 + ECS 部署配置

Question

基本上，我需要为 ECS 容器配置带有 bitbucket 源代码的 CI/CD。我想使用 CodePipline 将新的 ECR 映像部署到 ECS。

目前，AWS CodePipline 中没有将 bitbucket 指定为源的选项。但是，我设法使用 webhook 配置 CodeBuild，以便它构建 docker 文件并在每次推送到发布分支时将其推送到 ECR。

我想将 ECR 配置为 CodePipline 中的“源”阶段，并将其部署到现有的 ECS 集群/服务，以便自动部署。

• 我在源阶段使用“image_details”输出工件将“Amazon ECR”指定为操作提供程序。
• 我将“Amazon ECS”（不是“Amazon ECS（蓝/绿）”）指定为部署阶段的操作提供程序，并将“image_details”作为输入工件

很遗憾，如果在部署步骤中出现以下错误，则会导致基本配置和工件链接：

Invalid action configuration
The image definition file imageDetail.json contains invalid JSON format

虽然“Amazon ECR”阶段提供了 imageDetail.json 作为输出工件，但“Amazon ECS”部署提供程序似乎并不期望它。有什么合理的方法可以解决这个问题吗？

我知道，可以使用 bitbucket + API Gateway/Lambda + CodePipeline 配置 CI/CD，我还考虑使用 CodeCommit 而不是 bitbucket 作为源存储库 - 不过，希望有一个可能的优雅解决方案直接将 bitbucket 与 CodePipeline 一起使用。

统一更新： 我最终得到了相当不错的配置，在this blogpost 中进行了描述：总体思路是允许 CodeBuild 将源代码从 bitbucket 上传到 S3，然后使用 CodePipeline 和 S3 作为源将新的 docker 映像部署到 ECR 并发布ECS 集群中的新任务定义修订。 S3 仍然是开销，我正在为该任务寻找更优雅的解决方案。

Answer 1

我最近刚刚解决了一个类似的问题，我想使用 ECR 作为我的管道源，并让它将映像部署到 ECS。我找到的解决方案是创建 3 个阶段：

• 来源：ECR
• 构建：用于将 ECR 工件转换为 Deploy 阶段可以理解的工件的自定义代码
• 部署：到 ECS

这是我用作构建阶段的 buildspec.yml 文件：

version: 0.2

phases:
  install:
    runtime-versions:
      python: 3.7
  build:
    commands:
      - PHP_REPOSITORY_URI=$(cat imageDetail.json | python -c "import sys, json; print(json.load(sys.stdin)['ImageURI'].split('@')[0])")
      - IMAGE_TAG=$(cat imageDetail.json | python -c "import sys, json; print(json.load(sys.stdin)['ImageTags'][0])")
      - echo $PHP_REPOSITORY_URI:$IMAGE_TAG
  post_build:
    commands:
      - echo Writing image definitions file...
      - printf '[{"name":"container","imageUri":"%s"}]' $PHP_REPOSITORY_URI:$IMAGE_TAG > imagedefinitions.json
artifacts:
    files: imagedefinitions.json

这基本上是读取 imageDetail.json 文件并提取 ECR 存储库 URL 和 TAG 并输出为 ECS Deploy 阶段格式化的 json 文件，这只是一个没有自定义的标准阶段。

Answer 2

我有一个类似的用例并遇到了同样的问题。解决我的用例的解决方案有点长答案...

1. 用例： Tools Account 具有 CodePipeline，它执行 CodeBuild 和 docker 推送到 QA Accounts ECR。该图像将有 2 个标签 - “提交哈希”和“最新”。 QA 帐户有一个管道，当新映像可用时执行，此管道将新映像部署到 QA 帐户的 Fargate 集群中。
2. 部署平台： Amazon ECS 标准部署操作。
3. 来源： ECR。
4. 问题原因： ECR Source 的输出工件正确仅包含有关图像的信息，不包含 ECS 期望的容器名称标准部署。
5. 对 AWS 的建议： 鉴于使用 ECR 作为 ECS 源的流行场景，我们可以提出一个参数，即有能力（可选）在输出工件中添加容器名称 - 这将允许生成输出工件可以作为 ECS 标准部署的输入。

根据这个official doco from AWS ECS 标准部署需要一个 - imagedefinitions.json 文件，该文件提供容器名称和图像 URI。 它应该看起来像：

[
  {
    "name": "sample-app",
    "imageUri": "11111EXAMPLE.dkr.ecr.us-west-2.amazonaws.com/ecs-repo:latest"
  }
]

但 ECR 源会生成一个名为 imageDetail.json 的输出工件，如下所示。这与 ECS Standard Deploy aka imagedefinitions.json 的预期输入格式不匹配 - 其中包括容器名称（名称）并且部署失败并显示类似 Deploy Failure 的消息：

{
    "ImageSizeInBytes": "44728918",
    "ImageDigest": "sha256:EXAMPLE11223344556677889900bfea42ea2d3b8a1ee8329ba7e68694950afd3",
    "Version": "1.0",
    "ImagePushedAt": "Mon Jan 21 20:04:00 UTC 2019",
    "RegistryId": "EXAMPLE12233",
    "RepositoryName": "dk-image-repo",
    "ImageURI": "ACCOUNTID.dkr.ecr.us-west-2.amazonaws.com/dk-image-repo@sha256:example3",
    "ImageTags": [
        "latest"
    ]
}

我采取的解决方法是：

1. 在 Source 阶段：除了 ECR 源之外，我还添加了一个来自 s3 的源，其中包含 zip 中的 imagedefinitions.json。

2. 在 ECS 部署阶段操作中，我指的是来自 s3 源的输出工件，其中包含 ECS 标准部署可以理解的格式的 imagedefinitions.json。

注意： imagedefinitions.json 在 s3 存储桶中是静态的，并且总是引用该图像上的最新标签。因此，在 QA 图像定义存储桶中，我最终会得到一个图像定义 zip，即每个 Fargate 服务实例一个。

我已在此处导出我的管道以供一般参考：

{
"pipeline": {
    "roleArn": "arn:aws:iam::ACCOUNTID:role/service-role/AWSCodePipelineServiceRole-REGION-PIPELINENAME",
    "stages": [
        {
            "name": "Source",
            "actions": [
                {
                    "inputArtifacts": [],
                    "name": "Source",
                    "region": "REGION",
                    "actionTypeId": {
                        "category": "Source",
                        "owner": "AWS",
                        "version": "1",
                        "provider": "ECR"
                    },
                    "outputArtifacts": [
                        {
                            "name": "SourceArtifact"
                        }
                    ],
                    "configuration": {
                        "ImageTag": "latest",
                        "RepositoryName": "PIPELINENAME"
                    },
                    "runOrder": 1
                },
                {
                    "inputArtifacts": [],
                    "name": "sourceimagedeffile",
                    "region": "REGION",
                    "actionTypeId": {
                        "category": "Source",
                        "owner": "AWS",
                        "version": "1",
                        "provider": "S3"
                    },
                    "outputArtifacts": [
                        {
                            "name": "PIPELINENAME-imagedefjson"
                        }
                    ],
                    "configuration": {
                        "S3Bucket": "BUCKETNAME",
                        "PollForSourceChanges": "true",
                        "S3ObjectKey": "PIPELINENAME.zip"
                    },
                    "runOrder": 1
                }
            ]
        },
        {
            "name": "Deploy",
            "actions": [
                {
                    "inputArtifacts": [
                        {
                            "name": "PIPELINENAME-imagedefjson"
                        }
                    ],
                    "name": "Deploy",
                    "region": "REGION",
                    "actionTypeId": {
                        "category": "Deploy",
                        "owner": "AWS",
                        "version": "1",
                        "provider": "ECS"
                    },
                    "outputArtifacts": [],
                    "configuration": {
                        "ClusterName": "FARGATECLUSTERNAME",
                        "ServiceName": "PIPELINENAME",
                        "FileName": "imageDetail.json"
                    },
                    "runOrder": 1
                }
            ]
        }
    ],
    "artifactStore": {
        "type": "S3",
        "location": "codepipeline-REGION-555869339681"
    },
    "name": "PIPELINENAME"
}