Zeppelin - 按顺序运行段落

Question

我在 2 台主机上安装了 spark 2.1 独立集群。 有两个笔记本的Zeppelin(0.7.1)：

• 第一个：准备数据，进行聚合并将输出保存到文件：

  data.write.option("header", "false").csv(file)

• 第二个：带有shell段落的笔记本将所有part*文件从spark输出合并到一个文件中

我想问一下2个案例：

• 如何配置 Spark 以将输出写入一个文件

• notebook 1 完成后如何添加关系以运行 notebook2 中的所有段落，例如： 笔记本 1：

  data.write.option("header", "false").csv(file)

  “运行 notebook2”

  笔记本2：

  shell code

Answer 1

您是否尝试过在 note1 的末尾添加一个通过 Zeppelin API 执行 note2 的段落？您可以选择添加一个循环来检查所有段落是否完成执行，也可以通过 API。