【问题标题】:Is there any way to run a separate notebook after one process is finished in zeppelin?在 zeppelin 中完成一个进程后,有什么方法可以运行单独的笔记本?
【发布时间】:2021-07-12 15:19:59
【问题描述】:

假设以下是示例流程

Notebook1

df.count()
df.show()
Notebook2

df2.count()
df2.show()

我想在 Notebook1 完成后调用 zeppelin 上的 Notebook2。

【问题讨论】:

    标签: pyspark apache-zeppelin


    【解决方案1】:

    需要接入调度系统(如:azakaban),zeppelin不提供note依赖

    【讨论】:

      【解决方案2】:

      有两种方法

      1. 在notebook1最后一段的末尾,你可以调用 z.run("", "notebook2的paragraphid");

      2. zeppelin 中有一个 rest 调用(https://zeppelin.apache.org/docs/0.8.1/usage/rest_api/notebook.html#get-the-status-of-a-single-paragraph),您可以通过它检查段落的状态,例如运行状态或已完成。一旦你得到 notebook1 的最后一段的完成状态,你就可以调用 notebook2 的段落。

      更多参考:Can I programmatically check the status of a paragraph in Zeppelin?

      【讨论】:

        猜你喜欢
        • 2020-09-03
        • 2018-04-13
        • 2020-08-16
        • 2017-01-29
        • 2019-03-27
        • 2018-12-05
        • 2015-09-02
        • 2023-01-04
        • 2016-03-15
        相关资源
        最近更新 更多