【问题标题】:How can I write real time logs to AWS Glue log如何将实时日志写入 AWS Glue 日志
【发布时间】:2019-02-13 10:42:46
【问题描述】:

所以我的问题是有时我的 Glue 工作需要很长时间才能运行,甚至由于一些莫名其妙的问题而一起失败。有没有办法将消息打印到输出或错误日志中,以便我至少可以跟踪作业现在或结束时的位置?

我尝试了How do I write messages to the output log on AWS Glue?中的解决方案

但这似乎对我不起作用。输出日志会生成大量日志,即使我在消息中搜索或过滤关键字,我仍然无法找到它们。

现在我正在考虑将消息写入 S3 文件以解决此问题。但这让我想知道是否实际上没有任何其他方式来显示我可以在作业运行时检查的消息?

【问题讨论】:

    标签: python pyspark aws-glue


    【解决方案1】:

    您可以编辑作业以使用连续记录功能并在那里跟踪您的记录器

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-05-13
      • 1970-01-01
      • 2016-05-05
      • 2023-03-31
      • 1970-01-01
      • 2022-07-06
      • 2015-08-27
      相关资源
      最近更新 更多