数据流分配了太多磁盘空间答案

【问题标题】：dataflow allocated too much disk space数据流分配了太多磁盘空间
【发布时间】：2018-06-25 15:24:41
【问题描述】：

我正在运行一个数据流作业，该作业从 40 个工人扩展到更多，该作业现在占用了 9.77 TB 的永久性磁盘存储空间，并遇到了以下错误。

Autoscaling: Unable to reach resize target in zone us-central1-c. QUOTA_EXCEEDED: 
Quota 'DISKS_TOTAL_GB' exceeded. Limit: 10240.0 in region us-central1.

作业不应该发出那么多数据作为结果。所以我想知道在这种情况下分配的PD的作用是什么。还有每个工人的估算值如何？

这是数据流作业链接：https://console.cloud.google.com/dataflow/jobsDetail/locations/us-central1/jobs/2018-06-24_11_41_19-5444495474275650044?project=wikidetox&angularJsUrl=%2Fdataflow%2FjobsDetail%2Flocations%2Fus-central1%2Fjobs%2F2018-06-24_11_41_19-5444495474275650044%3Fproject%3Dwikidetox&authuser=1

谢谢你，宜清

【问题讨论】：

标签： google-cloud-storage google-cloud-dataflow

【解决方案1】：

DISKS_TOTAL_GB 配额用于分配给您的作业的硬盘驱动器，而不是用于它发出的数据。

这是一项流媒体作业吗？我相信流式作业使用相当大的硬盘来保存有关作业执行的数据。您可以增加该项目/区域的DISK_TOTAL_GB 配额，应该没问题。

【讨论】：

只是补充一点信息：根据文档 (cloud.google.com/dataflow/service/…)，每个工作人员必须至少有一个永久性磁盘。默认情况下，流式传输模式下每个永久性磁盘的大小为 400GB。