Logstash 和 Elasticsearch 问题

Question

我需要你的专业帮助来弄清楚我的 ES 和 Logstash 有什么问题。

我正在使用 Elasticsearch 1.1.0 和 logstash 1.4.0 将日志推送到 ES 和 Kibana。

我的服务器位于 AWS ( Master -> V.Core (4) , ECU (8) , RAM (15 GB) ) 节点是一样的。

我的logstash配置：

我正在从 S3 获取日志文件并将其本地放置在服务器中 之后，logstash 将它们带走并将它们推送到 ES 集群。 Logstash + Kibana + ES Master（位于 1 个服务器中） 这些文件大约有 12M 大小，我有超过 20,000 个文件。

我的 ES 配置（主）

cluster.name: MY-CLUSTER-NAME
node.name: MY-NODE-NAME
node.master: true
node.data: true
path.data: /PATH_TO_DATA/data
path.logs: /PATH_TO_LOGS/logs

ES 配置（节点）

cluster.name: MY-CLUSTER-NAME (Same name)
node.name: MY-NODE-NAME (Another name)
node.master: false (This is node not master)
node.data: true
path.data: /PATH_TO_DATA/data
path.logs: /PATH_TO_LOGS/logs

用于检查集群状态：

http://MASTER_IP:9200/_cluster/health

这是结果：

{
  "cluster_name": "es-cluster-onetagv2",
  "status": "green",
  "timed_out": false,
  "number_of_nodes": 2,
  "number_of_data_nodes": 2,
  "active_primary_shards": 5,
  "active_shards": 10,
  "relocating_shards": 0,
  "initializing_shards": 0,
  "unassigned_shards": 0
}

我的 Java 版本（不知道这是否重要）：

java版本“1.7.0_51”OpenJDK运行环境 (amzn-2.4.4.1.36.amzn1-x86_64 u51-b02) OpenJDK 64-Bit Server VM (build 24.45-b08，混合模式）

我的问题是我试图在 1 天内推动超过 4 亿次点击， 我可以在 24 小时内推送 6000 万。所以我总是落后。

我还可以看到 ES 占用了 100% 的 CPU 使用率。 但不知道是不是这个问题。

也许您可以指导我做错了什么以及如何将大日志快速推送到 ES。

Answer 1

拆分输入文件并为每个文件指定不同的名称，以便多个输入在其上工作，这有助于logstash通过不同节点并行读取多个文件。

请将 ES DataNode 的数量增加到 4 个，以及 2 个 ES Master。这可以通过运行两个logstash实例（提供2个Masters和2个DataNodes）和2个Elasticsearch Nodes（提供2个DataNodes）来实现。