如何将参数传递给 CloudFormation YAML 中的 Glue 作业？

Question

您可以通过 --arguments 参数将参数传递给 AWS Glue 作业（请参阅 here）。

CloudFormation documentation 说 DefaultArguments 是“UTF-8 字符串到 UTF-8 字符串键值对”并且它们的类型是“JSON 对象”。由于 YAML 是 JSON 的超集，我希望能够在 (YAML) CloudFormation 模板中传递这样的参数：

DefaultArguments:
  "--arguments": {"--test_argument": "foo"}

但是，它会在 CloudFormation 部署期间引发此错误：

属性验证失败：[属性值 {/DefaultArguments/--arguments=} 与类型 {String} 不匹配]

如何正确指定值？

Answer 1

传递多个参数的正确方式是

DefaultArguments:
  "--argument1": value1
  "--argument2": value2

然后像这样在作业中访问它们（例如在 Python 中）：

from awsglue.utils import getResolvedOptions
args = getResolvedOptions(sys.argv, ['argument1', 'argument2'])
print args['argument1']
print args['argument2']

让我感到困惑的是，使用 AWS CLI 传递参数时，您使用显式的 --arguments='--argument1="value1"' 结构，但在 CloudFormation 中，您要一个一个地指定参数。

Answer 2

键 --arguments 的值需要是一个字符串，但你实际上给它一个映射（或者在 JSON 中是一个对象），因为它以 { 开头。您应该引用该值，并且由于值中有双引号，因此最好使用单引号：

DefaultArguments:
  "--arguments": '{"--test_argument": "foo"}'

（您需要通过放置两个单引号来转义值中的任何现有单引号）

如果您的 JSON 更复杂，则使用折叠式标量可能会有好处。其中{ 也没有特殊含义，后跟空格的（单个）换行符被单个空格替换。因此，以下加载到与上述解决方案相同的数据：

DefaultArguments:
  "--arguments": >
    {"--test_argument": 
        "foo"}

当然，由于 YAML (1.2) 是 JSON 的超集，glue 可以很容易地假定如果一个值不是字符串，则它已经被解析，但它似乎并不那么聪明并且总是期望 JSON字符串形式。