【问题标题】:logstash template not honored for shard number increase分片数量增加不支持 logstash 模板
【发布时间】:2019-10-30 15:57:22
【问题描述】:

我有一个 logstash 模板,我在其中要求 3 个分片索引。

它加载得很好,我可以使用 _template api 检索它,但是当我列出集群上的分片时,它似乎不被尊重。

我仍然只有 1 个主分片和 1 个副本分片。 我尝试了很多事情(订单 0、订单 2、删除现有索引等)。无法为该索引获取 3 个分片。

我在索引“logstash-*”上有另一个模板,其顺序为 0,这似乎是默认值。 (我的名为“logstash-syslog-%{+YYYY.MM.dd}”,顺序为 2)

你能帮忙吗?也许我错过了文档中的某些内容

_cat/templates?v&s=name的输出

(END)name                        index_patterns                   order      version
.watches                    [.watches*]                      2147483647 
.ml-config                  [.ml-config]                     0          7040199
.ml-state                   [.ml-state*]                     0          7040199
.ml-notifications           [.ml-notifications]              0          7040199
.data-frame-internal-2      [.data-frame-internal-2]         0          7040199
.monitoring-logstash        [.monitoring-logstash-7-*]       0          7000199
.management-beats           [.management-beats]              0          70000
.slm-history                [.slm-history-1*]                2147483647 
.monitoring-es              [.monitoring-es-7-*]             0          7000199
.ml-anomalies-              [.ml-anomalies-*]                0          7040199
.data-frame-notifications-1 [.data-frame-notifications-*]    0          7040199
.ml-meta                    [.ml-meta]                       0          7040199
.triggered_watches          [.triggered_watches*]            2147483647 
.logstash-management        [.logstash]                      0          
logstash                    [logstash-*]                     0          60001
syslog_template             [logstash-syslog-%{+YYYY.MM.dd}] 1          7040199
.monitoring-beats           [.monitoring-beats-7-*]          0          7000199
.watch-history-10           [.watcher-history-10*]           2147483647 
.monitoring-alerts-7        [.monitoring-alerts-7]           0          7000199
.monitoring-kibana          [.monitoring-kibana-7-*]         0          7000199

我的模板的索引设置:

cat /etc/logstash/templates/syslog_template.json

{
  "index_patterns" : "logstash-syslog-%{+YYYY.MM.dd}",
  "order" : 1,
  "version" : 7040199,
  "settings" : {
    "index.refresh_interval" : "5s",
    "number_of_shards": 2
  },

curl -X GET "localhost:9200/_cat/shards"的输出

.kibana_1                  0 r STARTED  2  8.7kb 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
.kibana_1                  0 p STARTED  2 11.2kb 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
.kibana_task_manager_1     0 r STARTED  2 12.5kb 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
.kibana_task_manager_1     0 p STARTED  2  6.7kb 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
logstash-nats-2019.10.28   0 r STARTED  0   283b 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
logstash-nats-2019.10.28   0 p STARTED  0   283b 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
logstash-syslog-2019.10.28 0 r STARTED 32 23.9kb 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
logstash-syslog-2019.10.28 0 p STARTED 32 23.9kb 10.33.109.210 gm2-elk-01.preprod.exo.plop.com

【问题讨论】:

  • 你能分享GET /_cat/templates?v&s=name的结果和你的模板的索引设置吗?
  • 是的,我已经更新了帖子
  • 您的index_patterns 错误,应该是"index_patterns" : "logstash-syslog-*""index_patterns" : "logstash-*" 应用于任何以logstash- 开头的索引。

标签: templates elasticsearch logstash sharding


【解决方案1】:

您的index_patterns 应该是logstash-syslog-*。 IE @leandrojmp 提到的"index_patterns" : "logstash-syslog-*"

此外,您可以避免使用版本字段,因为弹性搜索在内部使用该字段。

@leandrojmp - 您能否将您的评论作为答案,以便@Mickael Brandon 可以接受。

【讨论】:

    猜你喜欢
    • 2015-03-07
    • 1970-01-01
    • 1970-01-01
    • 2018-12-05
    • 1970-01-01
    • 2016-03-17
    • 1970-01-01
    • 2019-11-04
    • 2020-02-07
    相关资源
    最近更新 更多