【问题标题】:How can we trigger multiple jobs in AWS glue?我们如何在 AWS 胶水中触发多个作业?
【发布时间】:2019-07-08 08:46:48
【问题描述】:
我是 AWS 胶水的新手,谁能解释一下我们如何通过单个作业或任何其他方式一起触发多个作业。
【问题讨论】:
标签:
amazon-web-services
aws-lambda
aws-glue
aws-step-functions
【解决方案1】:
您可以使用 Lambda 函数来完成。
在 Lambda 代码中导入 boto3
用所有的胶水作业名称建立一个字典。然后在上面循环,将gluejobname一一传递,触发所有你想触发的胶水作业。
import boto3
client = boto3.client('glue')
response = client.start_job_run(
JobName=glueJobName.get(gluejobname),
Arguments={
'--day_partition_key': 'date',
'--hour_partition_key': 'hour'
}
)
【解决方案2】:
Glue 工作流程,Glue 触发器将为您提供帮助 -