管理 google dataproc preemptible-workers 永久磁盘大小

Question

我在使用 google dataproc 创建的集群上使用 jupyter，它运行良好。

我尝试更改集群“size”（机器类型、启动磁盘大小、工作人员数量……）以满足我的需要，并且运行良好。

主要问题是我不知道如何更改抢占式工作者的永久磁盘大小。

我正在使用这个命令：

gcloud dataproc clusters create jupyter --project <my_project>   --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-preemptible-workers 0 --master-boot-disk-size 25 --worker-boot-disk-size 10  --worker-machine-type n1-standard-1 --worker-boot-disk-size 10

我希望“--worker-boot-disk-size 10”选项也可以应用于可抢占的选项，但它没有。

那么，有什么办法可以改变 preemptible-workers 启动磁盘的大小？

此外，Google 是否会向我收取抢占式工作人员永久磁盘使用费？

Answer 1

测试版 dataproc gcloud 频道提供了 --preemptible-worker-boot-disk-size 听起来像你想要的东西。

例如：

gcloud beta dataproc clusters create ... --preemptible-worker-boot-disk-size 500GB

在此宣布： https://cloud.google.com/dataproc/release-notes/service#july_1_2016

从 september_16_2016 版本开始，可以使用 --preemptible-worker-boot-disk-size 而无需创建任何抢占式 VM： https://cloud.google.com/dataproc/docs/release-notes/service#september_16_2016

Answer 2

注意： 您只能在创建集群时使用“--preemptible-worker-boot-disk-size”。 如果您创建一个集群，然后使用

gcloud dataproc clusters update  jupyter --project <my_project> --num-preemptible-workers 50

新的抢占式实例将拥有 100GB 的永久磁盘大小。 如果您尝试：

gcloud dataproc clusters update  jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10

或

gcloud beta dataproc clusters update  jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10

它不会起作用。