如何使用 Composer 在 Dataproc 上运行 Notebook

【问题标题】：How to run a Notebook on dataproc using composer如何使用 Composer 在 Dataproc 上运行 Notebook
【发布时间】：2020-09-22 19:38:36
【问题描述】：

我在dataproc 上有一个 Jupyter 笔记本，它使用 dataproc 进行处理。我还将此笔记本存储在 gcs 上的“gc:/bucket/...”位置。

我想创建一个 Composer 工作流来在我现有的 dataproc 集群上运行这个笔记本。这在 GCP 中可行吗？

【问题讨论】：

【解决方案1】：

您无法在 Dataproc 中以编程方式运行 Jupyter 笔记本。您可以采取的一种方法是从笔记本中提取代码，然后从 Composer 将其作为集群中的作业提交，例如，使用 DataprocPySparkOperator。

【讨论】：

如果我使用 Papermill 会怎样？
我自己没有尝试过，但是是的，它应该可以工作。您可以在dataproc集群中安装jupyter和papermill，然后在集群中使用Composer提交Pig作业（bash命令可以作为pig sh作业提交）来使用papermill。有关如何提交 Pig 作业的参考，请参阅：stackoverflow.com/a/56034588/7517757。