如何让 Apache Zeppelin notebook 在第一份工作中运行得更快

【问题标题】：How to make Apache Zeppelin notebook run faster on the first job如何让 Apache Zeppelin notebook 在第一份工作中运行得更快
【发布时间】：2017-06-22 12:06:33
【问题描述】：

您可以参考快照，当您第一次运行 Apache Zeppelin notebook 时，需要很长时间才能完成工作（大约 1 分钟以上）。

有什么办法可以优化减少运行时间？

【问题讨论】：

标签： apache-spark apache-zeppelin

【解决方案1】：

简答：

你不能更快地完成第一份工作。

更长的答案：

作业处理并不慢，但初始化 SparkSession 或 SparkContext 是另一回事。

Zeppelin 所做的是在您调用的第一个作业上启动 Spark 会话。简单的例子：

做一个简单的赋值也需要一分钟。

因此，除非spark 本身启动速度更快，否则实际上您无能为力。

【讨论】：

【解决方案2】：

zeppelin 正在请求解释您的命令所需的资源。在 yarn-client 模式的情况下，它还需要等到 yarn 接受您的应用程序。所以，你的第一个笔记本用了超过 1 分钟。

【讨论】：

【解决方案3】：

最后，我发现在两种情况下你可以让它更快，在 spark 版本

【讨论】：