【问题标题】:ElasticSearch - set ingest cluster to push documents to two separate data clusters?ElasticSearch - 设置摄取集群以将文档推送到两个单独的数据集群?
【发布时间】:2019-08-23 21:21:46
【问题描述】:

这可能吗?

ElasticSearch 6.4.2 版。

现在我们有一个 3 节点 ElasticSearch Ingest 集群,它准备文档并将它们推送到我们的 3 节点数据集群。我们需要让摄取集群将文档推送到位于两个不同 IP 地址的两个不同的 3 节点集群(两个集群相同)。

【问题讨论】:

    标签: elasticsearch


    【解决方案1】:

    我认为实现您想要的最佳方式是利用cross-cluster replication (CCR)。

    CCR 允许您指示“从属”数据中心跟随“主”数据中心并近乎实时地掌握所有主数据。

    更新:

    由于您的 ES 版本尚不支持 CCR,因此您有两个主要选择:您的微服务可以发送数据

    1. 同时到两个 ES 集群
    2. 到 Logstash 端点,然后将数据中继到两个集群(使用两个 elasticsearch 输出)

    【讨论】:

    • 您好 Val,很高兴在这里见到您一如既往地为您提供出色的 ES 帮助。我想说我们目前使用的是 ES 版本 6.4.2 对我来说是有益的。看起来 CCR 是在 6.7 版中引入的。确实有充分的理由需要升级,但现在我们根本没有时间或资源这样做。我正在编辑我的帖子以表明我们使用的是哪个版本。让我知道在 6.7 之前的版本中是如何实现这种要求的
    • 如何将数据发送到 ES 集群?
    • 我们使用 .Net 编写的微服务将其从我们的 SQL Server 数据库发送到 ES。
    • 感谢更新的答案 - 与 #1 建议相关 - 现在我们的微服务将数据推送到 ES 摄取集群,然后进一步准备数据,然后将其推送到数据用于搜索的集群。我对您的回答 #1 有点困惑 - 因为我们的微服务是第 1 步,摄取集群是第 2 步,而数据集群是第 3 步 - 我们如何在不绕过步骤的情况下执行第 1 步到第 3a/3b 步(两个不同的数据集群) 2?我们需要第 2 步来为两个数据集群准备数据。
    • 您的摄取集群是只有摄取节点的 ES 集群还是完全不同的东西?以及如何指示该集群将数据转发到数据集群?
    猜你喜欢
    • 1970-01-01
    • 2021-11-01
    • 1970-01-01
    • 2014-04-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-01-27
    相关资源
    最近更新 更多