写入分区文件时触发 lambda 函数

Question

我试图在 Glue 作业完成文件分区并将其写入 S3 时触发 lambda 函数。 我的胶水工作是这样做的：

df.repartition(10).write.format("csv").option("sep",",").option("header", "true").option("mode","Overwrite").save("s3://Bucket/a/b/c")

我使用以下参数创建了一个触发器：

我将 run 作为前缀，因为我的 Glue 作业会生成以 run- 开头的分区。

我现在怀疑当 Glue 作业完成时我的 Lambda 函数根本没有启动。 （我希望 Lambda 为所有文件分区运行。

我在哪里可以看到我的 Lambda 的历史记录？我显然是 AWS 的新手。

谢谢

Answer 1

正如 John Rotenstein 所说，日志和执行历史记录可以在 lambda 函数页面的监控选项卡中找到。