ElasticSearch 和索引策略

Question

我们目前正在设置一个 ELK 堆栈来使用我们的各种日志。目前我们每天只使用一个索引，并且只有来自我们开发的各种应用程序的日志（大约 1 亿个文档）。下一步是查看其他类型的日志，例如IIS、来自网络设备 (nlb) 的事件日志以及可能将处理后的文档转换为统计数据。所以现在的问题是我们应该使用什么样的索引策略。

1. 在将文档后处理为统计数据方面，我最初的想法是为每个应用程序创建一个索引（可能每年/每月，具体取决于数据量）。有意义吗？
2. 关于 IIS 日志和各种事件日志，我们可以只附加到每日应用程序日志（目前每天 20k 日志）。但是我不确定混合日志类型是一个好主意，虽然更容易维护。另一种策略是为不同的日志类型（应用程序、iis、事件日志）创建单独的索引。

非常感谢任何对好的博客文章/信息的推荐或参考。

Answer 1

我为不同的日志类型推荐不同的 ES 类型。结构化日志记录很重要，例如，您需要以不同于 Elmah 错误日志的方式查询 IIS 日志。您可能还想更改特定字段的索引设置以使其未分析。

您可以将所有内容保存在相同的每日/每周/每月滚动索引中，并按类型将它们分开。每日索引示例是这样的：

PUT 20150227

PUT 20150227/iis/_mapping
{
  "properties": {
    "value1": {
      "type": "string"
    }
  }
}

PUT 20150227/errors/_mapping
{
  "properties": {
    "value2": {
      "type": "string"
    }
  }
}