如何为 Zeppelin 配置 Livy / spark？答案

【问题标题】：How to configure Livy / spark for Zeppelin?如何为 Zeppelin 配置 Livy / spark？
【发布时间】：2017-05-26 21:20:18
【问题描述】：

我已经成功地用 Spark 配置了 Zeppelin。但是，我想使用多租户，为此我想使用 Livy 和 Spark 配置 Zeppelin。

对于李维，我提供了以下两条路径

export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf

我可以在 Zeppelin 中成功运行以下命令：

%livy.spark
sc.version

但是，以下命令失败：

%livy.sql
select * from myDB.table1

我看到以下错误：

<console>:14: error: not found: value sqlContext
              sqlContext.sql("select * from datalake.combination2").show(1000)

我还没有为 Zeppelin 启用 Shiro 身份验证。我的假设是，当我提供 Spark 主目录时，Livy 将使用默认用户登录 Spark。谁能指出我该如何解决上述问题？而且，我需要做哪些配置来启用模拟？

【问题讨论】：

嗨 Dan，您使用的是哪个版本的 Spark 和 Livy？

标签： apache-spark impersonation apache-zeppelin livy

【解决方案1】：

当我的集群没有足够的资源来启动一个活跃的会话时，我就会发生这种情况。您是否在 zeppelin 中配置了 livy 会话？
解释器 -> livy2 -> 基本 spark 配置：

      - livy.spark.driver.cores  
      - livy.spark.driver.memory  
      - livy.spark.executor.cores   
      - livy.spark.executor.instances   
      - livy.spark.executor.memory  
      - livy.spark.master  
      - livy.spark.submit.deployMode

还配置解释器实例化：全局 |用户 |注意

【讨论】：