拒绝拆分 GroupedShuffleRangeTracker 建议拆分位置超出范围

【问题标题】：Refusing to split GroupedShuffleRangeTracker proposed split position is out of range拒绝拆分 GroupedShuffleRangeTracker 建议拆分位置超出范围
【发布时间】：2018-01-29 22:22:37
【问题描述】：

我偶尔会收到以下错误：

W拒绝分裂在 '\x00\x00\x00\x15\xbc\x19)b\x00\x01'：建议分割位置超出范围 ['\x00\x00\x00\x15\x00\xff\x00\xff\x00\xff\x00\xff\x00\x01', '\x00\x00\x00\x15\xbc\x19)b\x00\x01')。最后一组的位置处理的是 '\x00\x00\x00\x15\xbc\x19)a\x00\x01'。

当它发生时，错误会经常被记录下来，而且工作似乎永远不会结束。虽然看起来它确实完成了这项工作。

在最后一个实例中，我使用了 10 个工作人员并禁用了自动缩放。我正在使用 Apache Beam 的 Python 实现。

【问题讨论】：

标签： google-cloud-dataflow

【解决方案1】：

这不是错误，它是管道正常运行的一部分。我们可能应该将它的日志级别降低到 INFO 并重新表述它，因为它经常让人们感到困惑。

此消息（相当模糊）表明 Dataflow 正在尝试应用 dynamic rebalancing，但没有可以进一步细分的工作。

即你的工作被困在少数工人身上做一些不可并行的事情，而其他工人则处于闲置状态。要进一步调查这一点，需要查看您的作业代码和 Dataflow 作业 ID。

【讨论】：

谢谢你，有什么方法可以查看到底是什么卡住了？（例如线程转储之类的东西）管道还运行外部程序。
据我所知，目前不在 Beam Python 中。 Beam Java 具有检测卡滞性的功能。在 Python 中，您可以尝试添加一堆日志记录并在 Stackdriver 中查看。
好吧，我怕你会这么说。谢谢。