【问题标题】:How can we trigger multiple jobs in AWS glue?我们如何在 AWS 胶水中触发多个作业?
【发布时间】:2019-07-08 08:46:48
【问题描述】:

我是 AWS 胶水的新手,谁能解释一下我们如何通过单个作业或任何其他方式一起触发多个作业。

【问题讨论】:

  • 如果你能提供一些有用的链接会有所帮助
  • AWS Glue 刚刚发布了一个新的工作流程片段,它可能正是您正在寻找的。查看文档:AWS Glue : Workflows

标签: amazon-web-services aws-lambda aws-glue aws-step-functions


【解决方案1】:

您可以使用 Lambda 函数来完成。 在 Lambda 代码中导入 boto3

用所有的胶水作业名称建立一个字典。然后在上面循环,将gluejobname一一传递,触发所有你想触发的胶水作业。

 import boto3
 client = boto3.client('glue')
 response = client.start_job_run(
   JobName=glueJobName.get(gluejobname),
   Arguments={
     '--day_partition_key': 'date',
     '--hour_partition_key': 'hour'
   }
 )  

【讨论】:

    【解决方案2】:
    猜你喜欢
    • 1970-01-01
    • 2020-11-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-07-29
    相关资源
    最近更新 更多