在处理 AWS/CloudWatch 日志时，什么是好的索引策略？

Question

我是 Elasticsearch 领域的新手，我正在开展一个项目，以使用 Amazon Elasticsearch 服务（Elasticsearch 和 Kibana）为来自不同 AWS 账户的所有 CloudWatch 日志提供日志分析系统。设置堆栈和路由 CloudWatch 日志是很容易的部分。但是我注意到当您以时间序列方式拥有不可变数据（在这种情况下为日志）时，一个好的索引策略会特别发挥作用。 我的第一种方法是为每个日志组创建一个每日单一索引，并使用索引策略根据我的要求移动/过期旧索引。但我想我要在我的 Elasticsearch 集群中处理很多微小的索引。 然后我考虑将每个 AWS 账户中的所有 CloudWatch 日志组索引到每日单个索引中。问题是它超出了主要由 CloudTrail 和 VPS 流日志引起的映射限制（1000 个字段），我认为这不是一个好主意增加这个限制。 所以我决定将我的日志分组为一些有限数量的索引类型（例如 cloudtrail 日志、VPC 流日志和其他日志）。所以基本上我会为每个 AWS 账户设置三个相对较大的每日索引，我不必增加映射限制。 我正在分享这个，看看是否有人实现了类似的东西，他们的想法是什么。我仍处于项目的初始阶段，我急切地寻求建议和建议。

Answer 1

一个好的索引策略是非常主观的，并且取决于许多因素，例如每个索引的大小以及您查询它的频率。

由于我们在这里讨论的是 cloudwatch 日志，因此您应该继续专注于避免使用大量较小的索引。除了组合不同类型的日志外，您还可以将旧索引组合成每周或每月索引。例如，在一周结束时将一周的数据重新索引为每周索引。此外，请确保您已定义保留期并清除所有旧索引。

您还可以考虑查看 Amazon Elasticsearch 中的 UltraWarm nodes，它提供了非常适合日志等只读数据的热温存储架构。