【问题标题】:Dataflow: set DataflowPipelineDebugOptions数据流:设置 DataflowPipelineDebugOptions
【发布时间】:2019-02-01 05:08:38
【问题描述】:

我的管道不断出现 OOM 错误,因此我阅读了以下答案并尝试设置 --dumpHeapOnOOM--saveHeapDumpsToGcsPath。但似乎这些选项不起作用。我需要更改代码或修改其他内容吗?

Memory profiling on Google Cloud Dataflow

【问题讨论】:

    标签: apache-beam dataflow


    【解决方案1】:

    您需要查看configuring-pipeline-options

    Apache Beam (2.9.0) 目前在命令行中配置管道选项的方式是--<option>=<value>

    在你的情况下,你可以设置--dumpHeapOnOOM=true --saveHeapDumpsToGcsPath="gs://foo"

    【讨论】:

    • 感谢您的回答。我设置了这两个参数,管道中发生了OOM,但桶中没有文件。嗯...我还有一个问题。我如何知道正在运行的数据流管道的 Xmx?有可能吗?
    • --saveHeapDumpsToGcsPath="path" 选项应该类似于--saveHeapDumpsToGcsPath="gs://foo"。如果不正确请告诉我。
    • 是的。我应该使用更具描述性的路径名。
    猜你喜欢
    • 2018-01-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-07-14
    • 2015-07-10
    • 1970-01-01
    相关资源
    最近更新 更多