如何使用摄取节点管道添加自定义索引？

Question

是否可以使用摄取节点管道创建条件索引？我觉得这可以通过脚本处理器来完成，但有人可以判断这是否可能吗？

我处于一种情况，我应该决定哪种方法是进行自定义索引的更好方法。我可以在 metricbeat.yml /filebeat.yml 文件中提及条件来完成这项工作。但这是进行自定义索引的最佳方式吗？我的弹性堆栈中没有logstash

output.elasticsearch:
          indices:
            - index: "metricbeat-dev-%{[agent.version]}-%{+yyyy.MM.dd}"
              when.equals:
                kubernetes.namespace: "dev"

这就是我现在在 metric/filebeat 中实现自定义索引的方式。我的 Kubernetes 集群中有 20 多个命名空间。请帮助建议这是否可以通过摄取节点管道来完成

Answer 1

是的，您可以通过摄取管道集处理器来实现这一点。摄取管道支持accessing of metadata fields，您可以使用 _index 字段名称访问/更新索引名称。

以下是示例摄取管道，当命名空间为 dev 时，它将更新索引名称：

[
  {
    "set": {
      "field": "_index",
      "value": "metricbeat-dev",
      "if": "ctx.kubernetes?.namespace== 'dev'"
    }
  }
]

更新 1：将代理版本附加到索引名称。我认为代理版本字段名称为agent.version

[
      {
        "set": {
          "field": "_index",
          "value": "metricbeat-dev-{{agent.version}}",
          "if": "ctx.kubernetes?.namespace== 'dev'"
        }
      }
    ]