在 aws 胶水中完成多个依赖作业后运行作业

Question

我有多个 Glue 作业 J1、J2、J3，它们是通过 AWS Lamda 触发的，而 Lambda 是通过 S3 上的文件触发的桶。

顺序如下：-

S3(Bucket B1)--文件添加--> L1(Lambda触发)-->J1(Glue Jobs)-->插入数据T1表(RedSfhift)

S3(Bucket B2)--文件添加--> L2(Lambda触发)-->J2(Glue Jobs)-->插入数据T2表(RedSfhift)

S3(Bucket B3)--文件添加--> L3(Lambda触发)-->J3(Glue Jobs)-->插入数据T3表(RedSfhift)

现在，在完成所有这 3 个作业后，我想触发一个单独的 Glue 作业（JFinal），它将处理来自 T1、T2 和 T3 的数据并进行一些计算，然后插入 Tfinal表格。

现在我们如何触发 JFinal 作业。 J1、J2、J3作业是独立的，执行顺序可以不同。

Answer 1

AWS Step 函数将是一个很好的解决方案。您必须配置您的步进机器，您的 3 个作业可以独立运行，JFinal 仍然会等到所有其他作业完成。参考：Step Functions Getting Started