【发布时间】:2020-09-03 21:12:29
【问题描述】:
我在 Hadoop 上安装了 Zeppelin 和 Spark 集群。
我想在一个笔记中运行前五段,然后在单独的笔记中运行前五段。我不希望它们同时运行,因为它们有同名的对象。
此外,机器会提示它们,因此它们实际上会按顺序运行。
我可以运行代码说run the first five in note abc 和之后的run the first five in note zxy 吗?
【问题讨论】:
-
Zeppelin (quark) 中嵌入的作业调度程序是一团糟。如果您对操作很认真,那么通过常规调度程序(甚至 CRON)和 Livy REST API 运行您的脚本。但这需要一些开发,因为 REST API 语法及其异步特性(即提交脚本,检索作业 ID,然后轮询直到达到成功或失败状态)。
-
根据文档,我也可以使用
run.note(<note_id>)
标签: apache-spark hadoop pyspark apache-zeppelin