【发布时间】:2019-02-13 10:42:46
【问题描述】:
所以我的问题是有时我的 Glue 工作需要很长时间才能运行,甚至由于一些莫名其妙的问题而一起失败。有没有办法将消息打印到输出或错误日志中,以便我至少可以跟踪作业现在或结束时的位置?
我尝试了How do I write messages to the output log on AWS Glue?中的解决方案
但这似乎对我不起作用。输出日志会生成大量日志,即使我在消息中搜索或过滤关键字,我仍然无法找到它们。
现在我正在考虑将消息写入 S3 文件以解决此问题。但这让我想知道是否实际上没有任何其他方式来显示我可以在作业运行时检查的消息?
【问题讨论】: