如何将机器添加到 GCP AI Platform？答案

【问题标题】：How do I add machines to GCP AI Platform?如何将机器添加到 GCP AI Platform？
【发布时间】：2020-03-31 14:46:53
【问题描述】：

根据this 问题的建议，我一直在运行一个 Python 应用程序，该应用程序使用 Tensorflow 运行模拟并将结果输出到 csv 文件，使用 AI Platform。我一直在使用 Jupyter，关注 this。

效果很好，我增加了 VM 的大小以更快地运行它。

现在如何添加机器以使其运行得更快，也许使用 Spark 和/或 Dataproc，或者理想情况下，更简单的东西？

【问题讨论】：

标签： python apache-spark google-cloud-platform google-cloud-dataproc gcp-ai-platform-notebook

【解决方案1】：

AI Platform 笔记本基于单台机器。要使用计算机集群处理数据，您可以在 Dataproc 上使用 Jupyter 笔记本。要对此进行自动配置，请使用类似于以下内容的集群：

REGION=<gce_region>
gcloud beta dataproc clusters create ${CLUSTER_NAME} \ 
  --region ${REGION} \
  --optional-components ANACONDA,JUPYTER \
  --initialization-actions gs://goog-dataproc-initialization-actions-${REGION}/tony/tony.sh \
  --enable-component-gateway

这将提供一个 Spark 集群，该集群配置了一个 Jupyter 笔记本和一个用于在集群上运行 Tensorflow 的框架 (Tony)。

有关 Dataproc 笔记本的更多信息，请查看： https://medium.com/google-cloud/apache-spark-and-jupyter-notebooks-made-easy-with-dataproc-component-gateway-fa91d48d6a5a

有关 Tony 的更多信息，请查看this post。

如果您正在寻找更多无服务器方法，您还可以查看 AI Platform 分布式训练：

【讨论】：

非常感谢，非常有帮助。当然希望对 GCP 上的许多不同产品有某种用例总结。