AWS Glue 可以为数据调用 Step 函数吗？

Question

我有一个要求，AWS Glue 需要为 ETL 过程中所需的数据调用/调用 Step 函数。整个过程如下：

1. Glue 从 S3 读取 csv
2. Glue 为 csv 文件中的每条记录调用 Step 函数
3. Step 函数有 2 个步骤/状态/任务，并为数据调用 2 个不同的 api（在 .net core 中开发/在 aws eks 中部署）。 第一步的输出是第二步的输入。
4. Step 函数的输出将被 Glue 用于转换。

所以有 2 个问题需要解决，从胶水调用 step 和调用 apis 的 step 函数。 请提出建议。

Answer 1

这是一个非常广泛的问题。但简单的答案是，您可以使用胶水环境中的 boto3 库与步进函数进行交互。您还可以在 step 函数启动后提取其状态，并且还可以从函数调用中获取输出值。