将数据从 Elasticsearch 实时发送到 AWS 数据库

Question

我知道这是一个非常不同的 Elasticsearch 用例，我需要您的帮助。

主要结构（不可更改）：

• 有一些物理机器，我们在那里有传感器。数据来自 这些传感器将用于 AWS Greengrass。
• 然后，使用 Lambda 函数数据将通过使用 MQTT。 Elasticsearch 在 docker 上运行。

这是结构，直到这里一切都准备就绪并正在运行✅

现在，在 ES 的顶部，我需要一些可以使用 MQTT 将这些数据发送到云数据库的软件，例如 DynamoDB。

但这不是一次性迁移。它应该连续发送数据。基本上，我需要 ES 和 AWS DynamoDB 之间的通道。

此外，传感器正在产生如此多的数据，我们不想将它们全部存储在云端，但我们希望将它们存储在 ES 中。在我们将数据发送到云端之前，Elasticsearch 端需要进行一些过滤。就像“将每 10 个数据保存到云端”一样，我们只能保存 10 个数据中的 1 个。

您对如何做到这一点有任何想法吗？我在这个领域没有经验，这看起来是一项具有挑战性的任务。我很想从这些领域有经验的人那里得到一些建议。

非常感谢！ ??????????

Answer 1

我没有研究过类似的用例，但您可以尝试查看Logstash。

这是一项开源服务，是 ELK 堆栈的一部分，并提供过滤输出的选项。管道将看起来像下面的链接：

data ----> ES ----> Logstash -----> DynamoDB 或任何其他目的地。

它支持您的用例所需的各种插件，例如：

• DynamoDB 输出插件 - https://github.com/tellapart/logstash-output-dynamodb
• Lo​​gstash MQTT 输出插件 - https://github.com/kompa3/logstash-output-mqtt