大数据的 Elasticsearch 索引架构并具有更多更新/删除操作答案

【问题标题】：Elasticsearch index Architecture for large data and having more update/delete operations大数据的 Elasticsearch 索引架构并具有更多更新/删除操作
【发布时间】：2020-10-01 11:02:18
【问题描述】：

我有一个索引，现在几乎有 50GB 的数据，很快就会超过 100GB！所以现在我想设置索引架构以获得更好的性能。

我结帐了很多东西，其中之一是Index LifeCycle，但作为我拥有的索引，可以随时更新！那么在这种情况下，我该如何设计我的索引，以便提高性能。

另一件事是，正如我在索引中的更新和删除记录上找到了一篇文章 Dynamic Indices。它表明在我们执行任何搜索操作时都会找到数据！就我而言，在这些情况下我有太多更新记录，这会降低索引的性能！

当我们有大量数据并且有很多更新和删除操作时，我们如何提高索引性能？我们应该遵循什么架构？

【问题讨论】：

标签： node.js elasticsearch

【解决方案1】：

您的所有日期都可能被更新或删除，还是只是最新数据？如果您的更新是针对最近的数据而旧数据是只读的，您可以按照this 博客文章中的说明创建热-温-冷架构。

如果您的所有数据都可能更新，您可以使用热温架构，其中所有更新都转到热节点，所有查询都转到热节点。 Elastic 将同步热节点和热节点以实现最终一致性，因此我假设您可能不得不忍受几毫秒的陈旧日期。检查this。

根据我的经验，即使您从同一组索引和节点进行更新和搜索，Elastic 也能够轻松处理 50-100 GB 的数据。这完全取决于更新和搜索的速度。

【讨论】：

感谢这是我们的初始尺寸！在未来的日子里它会长大更多！它甚至可以处理更多数据吗？
我认为随着数据的增加，您还需要查看节点大小和分片数量。所以我认为这不是一个非常直接的答案。 this 可能有助于决定性能何时开始下降，您可能实际上想要扩大/扩大并转移到热暖拱门。