【发布时间】:2019-02-01 05:08:38
【问题描述】:
我的管道不断出现 OOM 错误,因此我阅读了以下答案并尝试设置 --dumpHeapOnOOM 和 --saveHeapDumpsToGcsPath。但似乎这些选项不起作用。我需要更改代码或修改其他内容吗?
【问题讨论】:
标签: apache-beam dataflow
我的管道不断出现 OOM 错误,因此我阅读了以下答案并尝试设置 --dumpHeapOnOOM 和 --saveHeapDumpsToGcsPath。但似乎这些选项不起作用。我需要更改代码或修改其他内容吗?
【问题讨论】:
标签: apache-beam dataflow
您需要查看configuring-pipeline-options。
Apache Beam (2.9.0) 目前在命令行中配置管道选项的方式是--<option>=<value>。
在你的情况下,你可以设置--dumpHeapOnOOM=true --saveHeapDumpsToGcsPath="gs://foo"
【讨论】:
--saveHeapDumpsToGcsPath="path" 选项应该类似于--saveHeapDumpsToGcsPath="gs://foo"。如果不正确请告诉我。