我们如何在 Spark 集群外安装 Apache Livy？答案

【问题标题】：How can we install Apache Livy outside spark cluster?我们如何在 Spark 集群外安装 Apache Livy？
【发布时间】：2019-10-28 20:42:09
【问题描述】：

如果我的语言有错误，我深表歉意。

我想在 Spark 集群外的节点（VM 实例）上安装 Apache Livy 服务器。我该怎么做才能让 LivyServer 指向 Spark 集群？

我已经使用

在VM实例上下载并安装了livy

git clone https://github.com/cloudera/livy.git
cd livy
mvn clean package -DskipTests

在 livy/conf/livy.conf 中进行了更改

livy.spark.master = spark://{spark-cluster-master_IP}:7077
livy.spark.deploy-mode = cluster

livy 服务器使用命令启动

livy/bin/livy-server start

并尝试使用 python 的 REST api 进行交互

>>> import json, pprint, requests, textwrap
>>> host = 'http://localhost:8998'
>>> data = {'kind': 'spark'}
>>> headers = {'Content-Type': 'application/json'}
>>> r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers)
>>> r.json()
{u'kind': u'spark', u'log': [], u'proxyUser': None, u'appInfo': {u'driverLogUrl': None, u'sparkUiUrl': None}, u'state': u'starting', u'appId': None, u'owner': None, u'id': 2}
>>> session_url = host + r.headers['location']
>>> r = requests.get(session_url, headers=headers)
>>> r.json()
{u'kind': u'spark', u'log': [], u'proxyUser': None, u'appInfo': {u'driverLogUrl': None, u'sparkUiUrl': None}, u'state': u'dead', u'appId': None, u'owner': None, u'id': 2}

显示状态为死亡

日志文件（livy/logs/livy-umesh-server.out）没有显示任何关于 spark session dead

livyserver:~$ cat livy/logs/livy-umesh-server.out
log4j:WARN No appenders could be found for logger (com.cloudera.livy.LivyConf).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

【问题讨论】：

你到底卡在哪里了？你下载李维了吗？看看它的配置文件？运行启动脚本并得到任何错误？
@cricket_007 我已经编辑了我的问题并提及了我所做的事情。所以请看一下
你克隆了错误的项目（上次提交是几年前，它已经转移到了 Apache 孵化器）。你可以在这里找到如何下载和设置 Livy livy.incubator.apache.org/get-started
感谢@cri livy.spark.master = local livy.spark.deploy-mode = cluster
谢谢，@cricket_007 为您提供快速而友好的响应，它与 ``` livy.spark.master = local livy.spark.deploy-mode = cluster ``` 但我想提交作业在 Google Dataproc 集群的 yarn 上，我在哪里可以找到配置 livy 的步骤？

标签： apache-spark livy

【解决方案1】：

要使用 Livy 运行交互式会话，您需要确保 Livy 和 Spark Driver 之间的网络连接在两个方向上，以便它们之间的 RPC 调用。如果是您的情况，您将在 Spark 驱动程序日志中看到有关连接到 Livy RPC 服务器或回调超时的问题。

您可能还希望启用更详细的日志记录以查看 Livy 的详细行为。

【讨论】：