如何使用 aws_s3_bucket_object 数据源获取 s3 对象列表？

Question

我的具体问题和this guys一样，但是我发现他的回答不够详细，而且terraform现在有了新功能，也许可以更好地解决这个问题。

问题是我正在使用 aws_elastic_beanstalk_application_version 来注册 beanstalk 版本，但是 terraform 在注册新版本之前会删除旧版本。这是因为aws_elastic_beanstalk_application_version每次都会被替换，我需要做的就是生成一个新的。

我正在尝试使用“count”和 aws_s3_bucket_object 数据源来执行此操作，但我不知道如何将 s3 对象作为列表获取。我尝试了通配符，但不起作用：

data "aws_s3_bucket_object" "eb-bucket-data" {
  bucket = "mybucket"
  key = "*"
}

resource "aws_elastic_beanstalk_application_version" "default" {
  count       = "${length(data.aws_s3_bucket_object.eb-bucket-data.id)}"
  name        = "${element(data.aws_s3_bucket_object.eb-bucket-data.key, count.index)}"
  application = "myapp"
  bucket      = "mybucket"
  key        = "${element(data.aws_s3_bucket_object.eb-bucket-data.key, count.index)}"
}

Answer 1

aws_s3_bucket_object data source 目前只返回一个项目。您可以遍历项目列表，但这会让您回到最初需要查找项目列表的问题。

只需为返回对象列表的aws_s3_bucket_objects 数据源创建拉取请求（如aws_availability_zone 和aws_availability_zones 之类的东西），您可以通过使用external data source 和调用AWS CLI。

一个（未经测试的）示例可能如下所示：

data "external" "bucket_objects" {
  program = ["aws", "s3", "ls", "mybucket", "|", "awk", "'{print", "$4}'", "|", "jq", "-R", "-s", "-c", "'split(\"\n\")'", "|", "jq", "'.[:-1]'"]
}

这个运行

aws s3 ls mybucket | awk '{print $4}' | jq -R -s -c 'split("\n")' | jq '.[:-1]'

列出存储桶中的对象，仅获取文件名元素，使用jq 将它们拆分为 JSON 数组，然后从 JSON 数组中删除尾随换行元素，因为 external 数据源需要一个有效的 JSON 对象被退回。

然后您应该可以通过以下方式访问它：

resource "aws_elastic_beanstalk_application_version" "default" {
  count       = "${length(data.external.bucket_objects.result)}"
  name        = "${data.external.bucket_objects.result[count.index]}"
  application = "myapp"
  bucket      = "mybucket"
  key         = "${data.external.bucket_objects.result[count.index]"
}

Answer 2

此数据源有一个 Pull Request，aws_s3_bucket_objects：

https://github.com/terraform-providers/terraform-provider-aws/pull/6968