KStreams + Spark Streaming + 机器学习答案

【问题标题】：KStreams + Spark Streaming + Machine LearningKStreams + Spark Streaming + 机器学习
【发布时间】：2017-04-29 01:59:32
【问题描述】：

我正在做一个 POC，用于在数据流上运行机器学习算法。
我最初的想法是获取数据，使用

Spark Streaming --> 从多个表中聚合数据 --> 在数据流上运行 MLLib --> 生成输出。

但是我遇到了 KStreams。现在我很困惑！

问题：
1. Spark Streaming 和 Kafka Streaming 有什么区别？
2. 如何结合 KStreams + Spark Streaming + 机器学习？
3.我的想法是连续训练测试数据而不是批量训练..

【问题讨论】：

【解决方案1】：

Apache Kafka Steams 是一个库，提供可嵌入的流处理引擎，易于在 Java 应用程序中用于流处理，它不是一个框架。

我从 Kafka 作者那里找到了一些关于 when to use Kafka Streams 和 comparison with Apache flink 的用例。

【讨论】：

【解决方案2】：

首先，术语“Confluent 的 Kafka Streaming”在技术上是不正确的。

它被称为 Kafka 的 Streams API（又名 Kafka Streams）
它是 Apache Kafka 的一部分，因此归 Apache 软件基金会（而不是 Confluent）“拥有”
有 Confluent Open Source 和 Confluent Enterprise -- Confluent 提供的两个产品都利用了 Apache Kafka（因此也利用了 Kafka Streams）

不过，Confluent 为 Apache Kafka 贡献了很多代码，包括 Kafka Streams。

关于差异（我只强调一些主要差异，有关更多详细信息，请参阅 Internet 和文档：http://docs.confluent.io/current/streams/index.html 和 http://spark.apache.org/streaming/）

Spark 流式传输：

卡夫卡流

因此，没有理由将两者“结婚”——这是一个选择要使用哪一个的问题。

我个人的看法是，Spark 不是流处理的好解决方案。如果您想使用 Kafka Streams 之类的库或 Apache Flink、Apache Storm 或 Apache Apex 之类的框架（这些都是流处理的好选择）取决于您的用例（也可能是个人喜好）并且无法在 SO 上回答.

Kafka Streams 的主要区别在于，它是一个库，不需要处理集群。由于它是 Apache Kafka 的一部分，而且如果您已经安装了 Apache Kafka，这可能会简化您的整体部署，因为您不需要运行额外的处理集群。

【讨论】：

【解决方案3】：

我最近在一个关于这个主题的会议上发表了演讲。

Apache Kafka Streams 或 Spark Streaming 通常用于通过流处理（在运动中处理数据）将机器学习模型实时应用于新事件。 Matthias 的回答已经讨论了他们之间的差异。

另一方面，您首先使用 Apache Spark MLlib（或 H2O.ai 或 XYZ）等工具首先使用历史数据集构建分析模型。

Kafka Streams 也可以用于模型的在线训练。不过，我认为在线培训有很多注意事项。

【讨论】：

【解决方案4】：

从流处理的角度来看，
Spark Streaming 和 KStreams 合二为一。

在此强调 Spark Streaming 和 KStreams 的显着优势，以便简短回答。

【讨论】：