是否可以使用 spark yarn-cluster 运行 zeppelin答案

【问题标题】：Is it possible to run zeppelin with spark yarn-cluster是否可以使用 spark yarn-cluster 运行 zeppelin
【发布时间】：2016-01-23 14:55:17
【问题描述】：

它与 spark yarn-client 一起运行良好，但是 yarn-cluster 呢？如果可能的话，请分享我们如何做到这一点。

【问题讨论】：

标签： hadoop-yarn apache-zeppelin

【解决方案1】：

目前zeppelin不支持yarn cluster，只支持yarn-client。这样做的用例是什么？

【讨论】：

原因是，每次 zeppelin 需要重新启动时，执行程序都会被杀死，因此缓存会丢失。为了避免这种行为，spark 应该作为 yarn-cluster 运行，以便驱动程序在 application master 中运行。
添加到您的评论中，yarn-cluster 管理来自 HDFS 的所有 JAR，无需在本地复制它们，这需要两倍的时间来创建新的 spark 会话。

【解决方案2】：

是的，在当前的 Zeppelin 主版本中是可能的。

退房 https://medium.com/@zjffdu/zeppelin-0-8-0-new-features-ea53e8810235

Spark Interpreter 的 Yarn Cluster 模式

在 0.8.0 之前，Zeppelin 仅支持 Spark Interpreter 的 yarn 客户端模式，这意味着驱动程序将在 Zeppelin Server 的同一主机上运行。 Zeppelin Server 主机的内存压力很大，尤其是在隔离模式下运行 Spark Interpreter 时。

https://issues.apache.org/jira/browse/ZEPPELIN-2898（2017 年 9 月末合并到主服务器）。

更新：通知 0.8.0 已发布，其中包含此功能。

【讨论】：