【问题标题】:Why does number of Elasticsearch documents constantly automatically increase?为什么 Elasticsearch 文档的数量会不断自动增加?
【发布时间】:2021-07-16 19:37:19
【问题描述】:

我刚刚用 Kibana 建立了一个 ES 集群来监控它。在 Kibana 中,我使用 Legacy Collection 进行堆栈监控。

当我转到 Kibana 中的“堆栈监控”页面时,我看到文档数量在不断增加,并且每分钟可能会添加大约 40 个新文档。与此同时,磁盘使用量也在增加。

问题是我没有在 Elasticsearch 中插入任何新文档。截图如下:

这是我的elasticsearch.yml 文件:

cluster.name: cool-cluster

node.name: ${HOSTNAME}
node.master: true
node.data: true

path.logs: /var/log/elasticsearch
path.data: /usr/share/elasticsearch/data

bootstrap.memory_lock: true

network.host: ip1
discovery.seed_hosts: ["ip1", "ip2", "ip3"]
cluster.initial_master_nodes: ["ip1"]

xpack.security.enabled: true

xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.client_authentication: required
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/certs/elastic-certificates.p12

这是我的kibana.yml 文件:

server.host: "0.0.0.0"
server.name: "name"

elasticsearch.hosts: [ "http://ip1:9200" ]
elasticsearch.preserveHost: false

logging.dest: /var/log/kibana
logging.rotate.enabled: true
logging.rotate.keepFiles: 7

elasticsearch.username: "kibana"
elasticsearch.password: "password"

是什么导致文档数量(和磁盘使用量)增加?我能做些什么来减少它吗?这是 ELK 堆栈的正常,还是我配置错误?

【问题讨论】:

    标签: elasticsearch kibana elastic-stack elk


    【解决方案1】:

    在您编写时,您已激活堆栈监控。这意味着相应的“beat”会将监控统计信息发送到您的 Elasticsearch 实例,以便稍后在 Kibana 中显示它们。并且单个测量值存储为文档(就像 ELK Stack 中的几乎所有内容一样)。这就是为什么您的文档数量不断增加的原因。您应该能够在相应的 Elasticsearch index 下查找这些文档。

    【讨论】:

    • 有道理! Kibana 会删除这些索引吗?还是永久保存?有没有办法减少“节拍”的数量,这样我就不会消耗太多的存储空间?
    • 谢谢。 :) ES 中有一个称为 rollover 的概念(请参阅documentation),它应该可以帮助您摆脱索引中的旧文档。
    • 关于减少“节拍”的数量,分别。测量,我想这可以通过像period 属性设置 st 来实现 - 以configuration reference of Metricbeat 为例。如果这对您没有帮助,也许是另一个问题的主题。 ;)
    猜你喜欢
    • 2023-03-29
    • 2012-04-25
    • 2011-02-16
    • 2021-07-25
    • 1970-01-01
    • 2016-06-03
    • 2018-05-07
    • 1970-01-01
    相关资源
    最近更新 更多