从 hdfs 、集群设置和使用中获取 elasticsearch 中的数据答案

【问题标题】：Ingesting data in elasticsearch from hdfs , cluster setup and usage从 hdfs 、集群设置和使用中获取 elasticsearch 中的数据
【发布时间】：2016-12-22 17:33:00
【问题描述】：

我正在建立一个火花集群。我在同一实例上有 hdfs 数据节点和 spark 主节点。

当前设置是 1-master（spark 和 hdfs） 6-spark worker 和 hdfs 数据节点

所有实例都是相同的，16gig 双核（不幸的是）。

我还有 3 台机器，同样规格。现在我有三个选择 1.只需在这3台机器上部署es即可。集群看起来像 1-master（spark 和 hdfs） 6-spark worker 和 hdfs 数据节点 3-elasticsearch 节点

在 1 上部署 es master，在所有其他上扩展 spark、hdfs 和 es。集群看起来像 1-master（spark 和 hdfs） 1-主弹性搜索 8-spark worker、hdfs 数据节点、es 数据节点

我的应用程序大量使用 spark 进行连接、ml 等，但我们正在寻找搜索功能。我们绝对不需要实时搜索，长达 30 分钟的刷新间隔对我们来说甚至更好。

同时spark集群除了es索引之外还有其他长时间运行的任务。

解决方案不必是上述之一，如果有人建议，我愿意进行实验。一旦完成，其他开发人员也会很方便。

我也在尝试使用 es hadoop、es-spark 项目，但如果我使用 3 个专用节点，我觉得摄取非常慢，大约 60 万条记录/分钟。

【问题讨论】：

标签： hadoop elasticsearch apache-spark cluster-computing elasticsearch-hadoop

【解决方案1】：

这里的最佳方法主要取决于您的网络带宽以及我认为它是否是您操作中的瓶颈。

我会通过say来检查我的网络链接是否饱和 iftop -i any 或类似的并检查是否是这种情况。如果您发现数据速率接近网络的物理容量，那么您可以尝试在运行 ES 的同一台机器上运行 hdfs + spark 以节省网络往返并加快速度。

如果网络不是这里的瓶颈，我会研究下一步部署 Spark 和 HDFS 的方式。您是否使用了所有可用的 RAM（Java Xmx 设置得足够高？，Spark 内存限制？如果 Spark 是通过 Yarn 部署的，则 Yarn 内存限制？）

您还应该检查 ES 或 Spark 是否是这里的瓶颈，很可能是 ES。也许你可以生成额外的 ES 实例，3 个 ES 节点为 6 个 spark 工作人员提供服务似乎非常不理想。如果有的话，我可能会尝试反转这个比率，更少的 Spark 执行器和更多的 ES 容量。 ES 提供数据的速度可能比 HDFS 编写数据的速度慢很多（尽管这实际上取决于两者的配置......这里只是一个有根据的猜测:)）。很有可能，更多的 ES 节点和更少的 Spark 工作人员将是这里更好的方法。

简而言之：

添加更多 ES 节点并减少 Spark 工作线程数
检查您的网络链接是否已饱和，如果是，请将两者放在同一台机器上（这对于只有 2 个内核可能是有害的，但我还是会试一试...您必须尝试一下）
添加更多 ES 节点是您可以做的两件事中最好的选择：)

【讨论】：

感谢您的建议，我会查看并更新我的发现。尽管我认为我无法向您传达确切的问题，但我已经更新了我的问题并要求您通过。谢谢
@rohit 我明白了，我仍然认为解决您的性能问题的可能方法是更多的 ES 实例。
我完全同意你的观点同时我没有办法添加实例。这绝对是我能拥有的。我会欣赏你的想法。我将尝试通过添加 es 实例和 spark worker 来尝试，但我担心它会减慢 spark 本身的速度。将尝试查看性能影响。