实时事件处理答案

【问题标题】：Real Time event processing实时事件处理
【发布时间】：2017-12-02 07:26:35
【问题描述】：

我真的很想为我的以下场景获得一个架构解决方案。

我有一个事件源（比如油井中的传感器，大约 50000 个），它向服务器产生事件。在服务器端，我想以这样的方式处理所有这些事件，即来自传感器的有关最新湿度、温度、压力等的信息将被存储/更新到数据库中。

我对水槽或卡夫卡感到困惑。

有人可以用架构术语解决我的简单场景吗？

我不想将事件存储在某处，因为我已经在使用最新值更新数据库。

我真的需要 spark , (flume/kafka) + spark , 来满足处理方面吗？。

我们可以在没有水槽的情况下使用水槽进行任何类型的处理吗？

【问题讨论】：

【解决方案1】：

听起来您需要使用 Kafka 生产者 API 将事件发布到主题，然后通过使用 Kafka 消费者 API 写入数据库或使用 Kafka JDBC 接收器连接器来读取这些事件。

此外，如果您只需要 Kafka 中的最新数据，请查看日志压缩。

【讨论】：

【解决方案2】：

一种方法是将所有消息推送到 Kafka 主题。使用 Spark Stream，您可以从 kafka 主题中摄取和处理。 Spark 流可以直接从您的 Kafka 主题处理

【讨论】：