如何保持 Google Dataproc master 运行？

Question

我在 Dataproc 上创建了一个集群，效果很好。但是，在集群空闲一段时间（约 90 分钟）后，主节点将自动停止。这发生在我创建的每个集群上。我看到这里有一个类似的问题：Keep running Dataproc Master node

看起来是初始化动作的问题。然而，这篇文章没有给我足够的信息来解决这个问题。以下是我用来创建集群的命令：

gcloud dataproc clusters create $CLUSTER_NAME \
    --project $PROJECT \
    --bucket $BUCKET \
    --region $REGION \
    --zone $ZONE \
    --master-machine-type $MASTER_MACHINE_TYPE \
    --master-boot-disk-size $MASTER_DISK_SIZE \
    --worker-boot-disk-size $WORKER_DISK_SIZE \
    --num-workers=$NUM_WORKERS \
    --initialization-actions gs://dataproc-initialization-actions/connectors/connectors.sh,gs://dataproc-initialization-actions/datalab/datalab.sh \
    --metadata gcs-connector-version=$GCS_CONNECTOR_VERSION \
    --metadata bigquery-connector-version=$BQ_CONNECTOR_VERSION \
    --scopes cloud-platform \
    --metadata JUPYTER_CONDA_PACKAGES=numpy:scipy:pandas:scikit-learn \
    --optional-components=ANACONDA,JUPYTER \
    --image-version=1.3

我的集群需要 BigQuery 连接器、GCS 连接器、Jupyter 和 DataLab。

如何保持我的主节点运行？谢谢。

Answer 1

正如评论线程中所总结的，这确实是由Datalab的auto-shutdown feature引起的。有几种方法可以改变这种行为：

1. 首次创建启用 Datalab 的 Dataproc 集群后，登录 Datalab 并单击“Idle timeout in about ...”文本将其禁用：https://cloud.google.com/datalab/docs/concepts/auto-shutdown#disabling_the_auto_shutdown_timer - 文本将更改为“Idle timeout is disabled”

2. 编辑初始化操作以按照 yelsayed 的建议设置环境变量：

   function run_datalab(){
     if docker run -d --restart always --net=host -e "DATALAB_DISABLE_IDLE_TIMEOUT_PROCESS=true" \
         -v "${DATALAB_DIR}:/content/datalab" ${VOLUME_FLAGS} datalab-pyspark; then
       echo 'Cloud Datalab Jupyter server successfully deployed.'
     else
       err 'Failed to run Cloud Datalab'
     fi
   }
   

并使用您的自定义初始化操作而不是股票 gs://dataproc-initialization-actions 之一。也值得在 github 存储库中为 dataproc 初始化操作提交跟踪问题，建议默认禁用超时或提供基于元数据的简单选项。在 Dataproc 集群的默认使用中，自动关闭行为可能与预期不同，因为主节点还执行除了运行 Datalab 服务之外的角色。