elasticsearch 和 logstash 的故障转移答案

【问题标题】：Failover for elasticsearch and logstashelasticsearch 和 logstash 的故障转移
【发布时间】：2023-03-14 20:51:02
【问题描述】：

我正在配置logstash 和elasticsearch。在我的 logstash 配置文件输出部分。

elasticsearch {
    codec => json_lines
    cluster => "firstEsearch_cluster"
    protocol => "http"
    host => "192.168.56.3"
    port => "9200"
}

如果这样做，我可以与 elasticsearch 实例通信

但是现在我在不同的机器上有多个用于弹性搜索的节点，我在这些机器上复制数据以从故障中恢复并且机器在同一个网络中。

现在，当我的机器 192.168.56.3 发生故障并且 192.168.56.4 和 192.168.56.5 正在运行 elasticsearch 的其他节点时，无法将日志发送到 elasticsearch 集群，因为机器 192.168.56.3 已关闭。所以

logstash 的输出配置应该是什么，这样当其中一台机器出现故障时，我仍然可以将日志发送到 elasticsearch 集群

当我尝试这样做时：

elasticsearch {
    codec => json_lines
    cluster => "firstEsearch_cluster"
    protocol => "http"
    #host => "192.168.56.3"
    #port => "9200"
}

logstash 无法连接到 elasticsearch 实例，也无法发送日志。

【问题讨论】：

标签： logging elasticsearch logstash

【解决方案1】：

使用 DNS 名称部署负载均衡器，并将您的 elasticsearch 输出指向它。负载均衡器会将请求路由到活动的 elasticsearch 节点。

【讨论】：

我要使用HAProxy，我找到了它的教程。谢谢你:)

【解决方案2】：

您可以在充当客户端节点的索引器上运行设置本地 ES 实例。使用以下选项配置节点

node.master: false
node.data: false

然后只需将您的 elasticsearch 输出指向 localhost。此客户端节点不会存储任何数据，只是充当其他节点的负载均衡器。

【讨论】：

它会像 HAProxy 那样工作吗，因为我没有使用过。你有什么建议，HAproxy还是你上面提到的方法？？

【解决方案3】：

Elasticsearch（现在简称为 elastic）建议设置一个 nginx 代理来进行负载平衡。将您的 logstash 服务器指向代理，nginx 将在集群中的节点之间循环。

https://www.elastic.co/blog/playing-http-tricks-nginx/

这里是 nginx 配置的 sn-p。将您的 logstash 服务器指向端口 8080。

events {
    worker_connections  1024;
}

http {

  upstream elasticsearch {
    server 127.0.0.1:9200;
    server 127.0.0.1:9201;
    server 127.0.0.1:9202;

    keepalive 15;
  }

  server {
    listen 8080;

    location / {
      proxy_pass http://elasticsearch;
      proxy_http_version 1.1;
      proxy_set_header Connection "Keep-Alive";
      proxy_set_header Proxy-Connection "Keep-Alive";
    }

  }

}

【讨论】：