来自 Google Datalab 的 Google Cloud Dataproc答案

【问题标题】：Google Cloud Dataproc from Google Datalab来自 Google Datalab 的 Google Cloud Dataproc
【发布时间】：2016-11-12 16:37:18
【问题描述】：

是否可以在 Dataproc 集群上运行位于 Google Cloud Datalab 中的代码？

我们的想法是利用 Datalab 出色的交互性和界面来运行 Apache Spark 代码。

【问题讨论】：

你能得到答案还是datalab = dataproc+jupyter notebook

标签： google-cloud-dataproc google-cloud-datalab

【解决方案1】：

这已在我们的关注范围内，但尚未作为 Dataproc 集群的初始化操作完全启用。

谢谢。迪内什·库尔卡尼 GCP 数据实验室和机器学习产品经理

【讨论】：

【解决方案2】：

现在可以了，只需使用以下命令创建一个 dataproc 集群：

gcloud dataproc clusters create $CLUSTERNAME \
    --project $PROJECT \
    --num-workers $WORKERS \
    --bucket $BUCKET \
    --metadata startup-script-url=gs://$BUCKET/setup/setup_env.sh,BUCKET=$BUCKET \
    --master-machine-type $VMMASTER \
    --worker-machine-type $VMWORKER \
    --initialization-actions \
         gs://dataproc-initialization-actions/datalab/datalab.sh \
    --scopes cloud-platform

为了更轻松，您可以使用此脚本：https://github.com/kanjih-ciandt/script-dataproc-datalab/tree/master

【讨论】：