Logstash 的不一致流式传输行为 - ELK答案

【问题标题】：Inconsistency streaming behavior with Logstash - ELKLogstash 的不一致流式传输行为 - ELK
【发布时间】：2021-06-14 00:12:00
【问题描述】：

我有一个包含几个平面字段和几个嵌套字段的索引。我正在尝试通过 Logstash 将来自 SQL Server 的信息流式传输到特定 ID 的嵌套字段中。当我为 only one Id 流式传输数据时，它会完全成功地通过，没有任何问题。另一方面，当我尝试为多个 id 流式传输数据时 - 由于某种原因，插入索引的信息是部分的。 注意：查询按id排序。此外，在流式传输数据的不同尝试中，获得了不同数量的信息。例如，假设完整信息包含 15 行。在一次尝试中 - 仅获得 2 行，但在另一次尝试中 - 获得 14 行，看似完全任意。有谁知道什么会导致这种奇怪的行为？我很乐意提供任何帮助。谢谢！

【问题讨论】：

标签： elasticsearch logstash elastic-stack elk

【解决方案1】：

这是因为Logstash execution model 可以让多个工作线程并行工作，并且您的事件可能由不同的工作线程处理。

如果您想获得一致的加载行为，您需要使用单个工作人员（命令行上的-w 1）执行管道

【讨论】：