收缩 Dataproc 工作器启动磁盘

Question

由于规划过程中的一些混淆，我们最终得到了几个运行 23TB 驱动器的工作节点，这些驱动器现在几乎完全未使用（我们将数据保存在外部存储中）。由于驱动器目前只是在浪费金钱，我们需要将它们缩小到合理的尺寸。 使用 weresync 我能够将驱动器完全克隆到一个更小的驱动器，但显然你不能在 GCE 中交换引导驱动器（这对我来说没有意义）。有没有办法实现这一点，还是我需要使用图像创建新的工作人员？如果是这样，是否需要将任何其他配置复制到新实例才能自动加入集群？

Answer 1

Dataproc 不支持在运行的集群中更改虚拟机配置。

我建议您删除旧集群并创建具有您需要的工作磁盘大小的新集群。

Answer 2

我最终创建了一张支持 GCP 的票证 - https://issuetracker.google.com/issues/120865687 - 以获得该问题的官方答案。得知目前这是不可能的，但应该很快（几个月内）就可以在 beta GCP CLI 中使用，也可能在以后的数据中出现在控制台中。 继续完全重建集群。