如何配置logstash来创建elasticsearch索引？

Question

elasticsearch 版本：elasticsearch-2.2.0.rpm logstash 版本：logstash-2.2.2-1.noarch.rpm

我启动 elasticsearch，然后使用 /etc/logstash/conf.d/logstash.conf 启动具有基本标准输入/标准输出的 logstash，但没有创建弹性搜索索引。如果我将以下内容添加到我的 logstash 输出配置中，我会得到一个指示黄色状态的索引：

动作 => “创造” index => "main_index"

它是黄色的，不可用的原因是分片数为5，副本数为3。如果我运行：

curl -XPUT 'http://localhost:9200/index2/' -d ' 指数 ： number_of_shards : 1 number_of_replicas : 0 '

“index2”为绿色且可用。如何在不发出 curl 命令的情况下告诉 logstash 和/或 elasticsearch 我希望我的索引有 1 个分片和 0 个副本？

谢谢。

Answer 1

你有三个解决方案：

1. 您覆盖了 Logstash 使用的 default index template，并使用正确的设置覆盖了 provide your own，即使用 "number_of_replicas": 0
2. 您在 ES 中使用正确的索引设置创建 index template
3. 在elasticsearch.yml 中，您更改名为index.number_of_replicas 的设置并将其设置为0（然后重新启动您的ES）

Answer 2

为了完成Val´s answer，这里是ES版本5.x的更新：

解决方案 3 不起作用，因为从配置文件中禁用了索引级别配置：“由于无法在像 elasticsearch.yaml 这样的节点配置上设置 elasticsearch 5.x 索引级别设置”

解决方案 1 确实有效，下面是一个示例：

• 从here 下载并编辑ES 5.x 的基本模板。

• 更改模板名称以匹配您的索引名称模式，并首先添加您要更新的索引设置：

  {
    "template" : "syslog*",
    "version" : 50001,
    "settings" : {
     "index.refresh_interval" : "5s",
     "index.number_of_replicas" : 0,
     "index.number_of_shards" : 1
    },
  ...
  }
  

• 更新 logstash 配置，以便输出使用创建的模板：

  output {
    elasticsearch {
      hosts => ["localhost:9200"]
      index => "syslog%{+YYYY.MM.dd}"
      template => "path_to_your_template.json"
      template_name => "syslog*"
      template_overwrite => true
    }
  }
  

• 重启服务

Answer 3

例如，您可以通过以下请求创建一个小型索引（仅一个主分片）并且没有副本分片：

   PUT /my_index
       {
        "settings": {
            "number_of_shards" :   1,
            "number_of_replicas" : 0
       }
       }