将 Nifi 连接到 Elasticsearch 时出错答案

【问题标题】：Getting error when connecting Nifi to Elasticsearch将 Nifi 连接到 Elasticsearch 时出错
【发布时间】：2018-03-19 17:57:43
【问题描述】：

我在 Ubuntu 16.04.3 LTS 的 VM 实例上安装了 Nifi 1.4.0 和 Elasticsearch 5.6.2。

我的目标是使用 Nifi 从 Twitter 中提取一些数据，将其存储在 Elasticsearch 中，最终我将在 Kabana 中处理这些数据。

问题一切都是孤立的，也就是说我可以直接从命令行向 Elasticsearch 添加数据并检索它。我还可以访问 Nifi，并且成功地从 twitter 中提取数据并将其传递给 PutElasticsearch 处理器。

Nifi 从 Twitter 提取数据然后抛出错误的图片

抛出的异常如下： PutElasticsearch[id=fbb5f3cf-015e-1000-8321-71b19eef4054] Failed to insert into Elasticsearch due to None of the configured nodes are available: [{#transport#-1}{127.0.0.1}{localhost/127.0.0.1:9300}]. More detailed information may be available in the NiFi logs.: NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{127.0.0.1}{localhost/127.0.0.1:9300}]]

在我的研究中，我看到一些人看到了同样的错误，但他们都声称将端口更改为 :9300 可以解决他们的问题。正如您在下面我的 PutElasticsearch 处理器配置选项卡的图片中看到的那样，这不应该是这里的问题。

PutElasticsearch 处理器配置图片

我真的很感激一些帮助，我很难过。

【问题讨论】：

我遇到了类似的问题。我查看了 Elasticsearch 日志，发现以下异常：Received message from unsupported version: [5.0.0] minimum compatible version is: [5.6.0]。我会听答案来解决。

标签： ubuntu elasticsearch ubuntu-16.04 apache-nifi ubuntu-server

【解决方案1】：

PutElasticsearch 使用本机传输 API，有效地让 NiFi 节点成为集群的一部分。因此，它对集群的版本与 Elasticsearch 包中包含的传输库的版本非常敏感。目前 PutElasticsearch 使用 2.1.0 版本的传输库，几乎可以肯定与 5.6.2 集群不兼容。值得一提的是，有一个使用 5.0.1 版本库的 PutElasticsearch5 处理器，但由于次要版本差异很大，这可能也不兼容 5.6.2 集群。

但是，有一组“Http”版本的 Elasticsearch 处理器（例如 PutElasticsearchHttp 和 PutElasticsearchHttpRecord）使用 REST API 与集群进行通信。由于 REST API 在 ES 版本之间更加稳定，您通常可以使用这些来实现您的目标。权衡是在性能上，由于与集群的额外通信开销，处理器的 Http 版本有点慢。

【讨论】：

新机器和对齐版本，现在一切顺利。谢谢@mattyb

【解决方案2】：

请使用 Nifi 1.4.0 和 elasticsearch-5.6.5 和 PutElasticsearch5 作为处理器。它对我有用。

【讨论】：

【解决方案3】：

我在使用 PutElasticsearch 和 PutElasticseach5 时遇到了同样的问题，因此我切换到了 PutElasticsearchHttp。这有点慢但绝对有效 - 我已经使用 ES Ver 6.5.2 和 6.3.1 进行了测试，因此绝对应该适用于 5.6.2

要记住的几件事是

确保使用 HTTP 端口 - 默认为 localhost:9200
如果您的 json 流是单行，您可能希望在将其传递给 PutElasticsearchHttp 之前对其进行拆分。否则它会给你一个解析错误。见下图：

Splitting Json in NiFi

希望这会有所帮助！

【讨论】：