Logstash(6.5.4) 弹性搜索输出

Question

我的 filebeat 在两台服务器上。假设 app1 和 app2

我的日志格式

jobID status data

例子： 应用程序 1 日志

5hgsxyt3838 SCHEDULED data

应用程序2日志

5hgsxyt3838 COMPLETE data

这两个日志都具有相同的 jobID。 我将此 jobID 用作 elasticsearch 上的文档 _id

elasticsearch {
            hosts => [ "localhost:9200" ]
            index => "import-export-logger-%{index-name}"
            document_id => "%{jobID}"
        }

现在我希望我在 elasticsearch 中的最终状态为 COMPLETE，但有时 app1 上的负载很高，因此首先处理 app2 日志，然后再处理 app1。 所以最终状态变为SCHEDULED

有没有办法防止这种情况发生，即我希望仅在状态不完整时更新我的​​文档？ 当状态为 COMPLETE 时，文档不能自行更新

Answer 1

我不太喜欢覆盖这样的事件（最好只记录所有事件，然后在您的查询中进行过滤）。

但是如果你想走那条路，你可以这样做：

output {
    if [status] == "COMPLETE" {
        elasticsearch {
            hosts => [ "localhost:9200" ]
            index => "import-export-logger-%{index-name}"
            document_id => "%{jobID}"
            action => "update"
            doc_as_upsert => true
        }
    }
    else {
        elasticsearch {
            hosts => [ "localhost:9200" ]
            index => "import-export-logger-%{index-name}"
            document_id => "%{jobID}"
            action => "create"
        }
    }
}

因此，如果状态为 scheduled 将创建文档（如果不存在），complete 将更新或创建。