【问题标题】:Can I programatically run a Zeppelin notebook?我可以以编程方式运行 Zeppelin 笔记本吗?
【发布时间】:2020-09-03 21:12:29
【问题描述】:

我在 Hadoop 上安装了 Zeppelin 和 Spark 集群。

我想在一个笔记中运行前五段,然后在单独的笔记中运行前五段。我不希望它们同时运行,因为它们有同名的对象。

此外,机器会提示它们,因此它们实际上会按顺序运行。

我可以运行代码说run the first five in note abc 和之后的run the first five in note zxy 吗?

【问题讨论】:

  • Zeppelin (quark) 中嵌入的作业调度程序是一团糟。如果您对操作很认真,那么通过常规调度程序(甚至 CRON)和 Livy REST API 运行您的脚本。但这需要一些开发,因为 REST API 语法及其异步特性(即提交脚本,检索作业 ID,然后轮询直到达到成功或失败状态)。
  • 根据文档,我也可以使用run.note(<note_id>)

标签: apache-spark hadoop pyspark apache-zeppelin


【解决方案1】:

在 Zeppelin 中,有一个 Notebook API,您可以使用它来获取笔记本中的段落列表(例如通过paragraph status API 或通过Note information API),然后通过一个一个地执行段落synchronous paragraph execution API.

【讨论】:

    猜你喜欢
    • 2019-03-27
    • 1970-01-01
    • 2020-09-07
    • 1970-01-01
    • 2017-01-29
    • 2018-04-13
    • 1970-01-01
    • 2021-07-12
    • 1970-01-01
    相关资源
    最近更新 更多