使用 AWS Glue 编排 Redshift 存储过程答案

【问题标题】：Orchestration of Redshift stored procedures using AWS Glue使用 AWS Glue 编排 Redshift 存储过程
【发布时间】：2022-01-22 06:55:34
【问题描述】：

我有多个 Redshift 存储过程 (~15)，有些依赖于之前运行的存储过程，而有些可以异步运行。

我需要通过适当的故障处理来协调这一点，以防任何后续存储过程失败，然后我可以运行那个特定的。

我尝试使用 AWS Eventbridge 进行编排，但在此过程中，我发现了许多限制。就像触发任何特定的存储过程一样。使用 Eventbridge 规则 5 目标来运行组合同步和异步

有什么方法可以使用自定义画布在 AWS Glue 中运行我的存储过程，以构建编排。将一个存储过程放在一个块中

如何在流程图中建立redshift连接，以便我的存储过程在我的redshift集群中执行？

【问题讨论】：

【解决方案1】：

我不了解 Glue（我对此表示怀疑），但这对于 Step Functions 来说是一个很好的案例。很多关于如何使用 Step Functions 和适当的错误/异常处理来设置无服务器数据编排流程的博客。一个开始的地方 - https://aws.amazon.com/blogs/big-data/orchestrate-multiple-etl-jobs-using-aws-step-functions-and-aws-lambda/

【讨论】：