如何处理关系数据库中的 AWS IOT 流数据

Question

通用信息：-我正在为一种物联网问题方法设计解决方案，其中数据从 plc（可编程逻辑控制器）连续流式传输，plc 具有不同的标签，这些标签代表遥测数据和数据将从这些标签中不断流出，每个设备都有警报标签，该标签将为 0 或 1，1 表示设备出现故障 问题陈述：- 如果任何警报标签值为 1，我必须读取警报标签并提出票证，我必须将这些警报流式传输到仪表板，而且我还必须维护票证历史记录，所以运营商也可以更新票状态

我的解决方案：- 我正在使用 aws IOT，我在 dynamo db 中获取数据，然后我正在使用 dynamo db 流来检查是否在警报表中添加了任何新项目以及它是否会触发lambda 函数（我已经在 java 中实现） lambda 函数使用 hibernate 在关系数据库中打开一个新票。

我的方法存在问题：-aws iot 数据以非常快的速度在警报表中持续流式传输，这会在关闭之前打开大量连接，这会导致我的关系数据库停机

请告诉我是否可以采用其他好的设计方法？

Answer 1

使用 Amazon Kinesis Analytics 处理流数据。 Dynamodb 不适合这个。

阅读更多here

下面的图片会给你一个相同的想法

Answer 2

只是一个建议……

来自 lambda，请勿联系 RDS，

宁愿在 AWS SQS 中推送所有警报

然后您可以使用 AWS CloudWatch 规则为每分钟安排另一个 lambda，该规则将从 AWS SQS 中挑选所有项目，然后将它们立即插入 RDS。

Answer 3

我同意 raevilman 的设计，即不让 Lambda 直接联系 RDS。 由于创建新工单不是 Lambda 函数正在执行的唯一任务，因此您还将这些警报流式传输到仪表板。根据流式传输速率和 RDS 限制，您可能希望将这些任务拆分到多个队列中。

通用解决方案：我建议您可以将警报推送到扇出交换，然后该交换会根据需要将警报推送到一个或多个队列。然后，您可以批量处理警报并一起执行多次写入，而无需多次执行连接/断开循环。

AWS 特定解决方案：我没有使用过 SQS，因此无法真正评论它的架构。或者，您可以创建一个 SNS 主题并将这些警报发布到该主题。然后，您可以将 SQS 队列作为该主题的订阅者，而这些队列又将用于彼此独立的票务和仪表板目的。

再次，从票务队列中，您可以使用 Lambda 或您自己的调度程序批量轮询消息并处理票证（频率取决于时间紧迫警报的程度）。 您可能想阅读this tutorial 以获得一些指示。

Answer 4

您可以控制 lambda 函数的并发数。这将减少基于发电机事件旋转的 lambda 的数量。从而减少与 RDS 的连接。

https://aws.amazon.com/blogs/compute/managing-aws-lambda-function-concurrency/

当然，这会限制发电机事件。