【问题标题】:Strange Google Dataflow job log entries奇怪的 Google Dataflow 作业日志条目
【发布时间】:2019-07-08 14:34:10
【问题描述】:

最近我在作业详细信息视图中的作业日志中充满了以下条目:

  "Worker configuration: [machine-type] in [zone]."

作业本身似乎工作正常,但这些条目之前没有出现,我担心因此我无法发现有意义的日志条目。

这是我应该担心的事情吗?你知道如何摆脱它们吗?

【问题讨论】:

    标签: google-cloud-dataflow apache-beam spotify-scio


    【解决方案1】:

    是的,这些日志是垃圾邮件,无需担心。我已经提交了一个内部错误来减少这些垃圾日志(这是第一个)。在修复它的同时,您可以熟悉Stackdriver Logs Exclusion feature。这允许您创建过滤器以根据用户定义的查询排除日志。

    以下是排除特定 Datawflow 日志的步骤:

    1. 导航到logs ingestion page
    2. 找到“数据流步骤”行
    3. 点击同一行最右边的按钮
    4. 从下拉列表中选择“创建排除过滤器...”选项
    5. 编写查询以选择要排除的日志 (在你的情况下:resource.type="dataflow_step" "Worker configuration"
    6. 为您的过滤器命名
    7. 选择要排除的日志百分比(默认排除 100% 的选定日志)
    8. 点击“创建排除”按钮
    9. 您可以在日志提取页面的“排除”标签中查看您创建的排除过滤器

    【讨论】:

      【解决方案2】:

      而且您现在不应该看到此类日志垃圾邮件用于新安排的作业!我们添加了逻辑来防止此类消息的过多记录。

      【讨论】:

      • 您应该将此作为评论。
      • 如果您想了解如何获得足够的声誉以便发表评论,请查看this
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多