Logstash 如何用新数据更新索引？

Question

我有PostgreSQL 10 带有表的数据库。每小时有 7000 条新数据进入表中。

在Logstash 6.4 我有这样的.conf 文件，它在Elasticsearch 中创建索引。

.conf:

input {
    jdbc {
        jdbc_connection_string => "jdbc:postgresql://@host:@port/@database"
        jdbc_user => "@username"
        jdbc_password => "@password"
        jdbc_driver_library => "C:\postgresql-42.2.5.jar"
        jdbc_driver_class => "org.postgresql.Driver"
        statement => "SELECT * from table_name"
    }
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "table_name"
    }
}

问题：

1. 如何使用表中出现的新数据更新现有索引？
2. 索引可以存储的最大数据量是多少？会不会溢出？

Answer 1

如何用表中出现的新数据更新现有索引？

索引 table_name 会随着添加到数据库表中的新条目自动更新。但是，如果在数据库表中更新了任何现有条目，那么它们将作为具有新文档 ID 的新文档添加到索引中。相反，如果您希望更新 ES 中的现有文档，请使用具有唯一值的列名并将其分配为文档 ID。这样，如果数据库中的现有条目被更新，则 ES 中的相应文档将被最新值覆盖。

在输出配置中使用document_id => "%{column_name_with_unique_values>}"

索引可以存储的最大数据量是多少？会不会溢出？

这真的取决于你的资源。但是，为了获得最佳性能，建议将分片大小保持在 20 - 40 GB 之间。如果您的索引有 5 个主分片，您可以在单个索引中存储大约 200 GB 的数据。上述任何内容都考虑将数据存储在新索引中。理想情况下，使用时间序列指数，例如每日或每月，这样就更容易维护 ex。存档和备份，然后清除。