来自 Kafka Consumer 的 Spark Streaming答案

【问题标题】：Spark Streaming from Kafka Consumer来自 Kafka Consumer 的 Spark Streaming
【发布时间】：2016-11-03 10:13:14
【问题描述】：

我可能需要与 Kafka 合作，而且我对它完全陌生。我知道有 Kafka 生产者会将日志（在 Kafka 中称为事件或消息或记录）发布到 Kafka 主题。

我需要通过消费者阅读 Kafka 主题。我是否需要先设置消费者 API，然后才能使用 SparkStreaming Context(PySpark) 进行流式传输，或者我可以直接使用 KafkaUtils 模块从 kafka 主题中读取？

如果我需要设置 Kafka 消费者应用程序，我该怎么做？请您分享指向正确文档的链接。

提前致谢！！

【问题讨论】：

【解决方案1】：

Spark 提供内部 kafka 流，您不需要在其中创建自定义使用者，有 2 种方法可以将 kafka 1 与接收器 2 连接。直接方法。有关更多详细信息，请通过此链接http://spark.apache.org/docs/latest/streaming-kafka-integration.html

【讨论】：

它在一些地方说它不支持 Python。您是否尝试过从 Kafka 读取流，请您分享一个代码 sn-p，它会从那里消耗少量日志？
哦，是的，它在 pyspark 中不支持，因此您可以创建自定义流 spark.apache.org/docs/latest/streaming-custom-receivers.html

【解决方案2】：

不需要设置kafka消费者应用程序，Spark本身通过2种方法创建消费者。一种是使用 KafkaUtils 类的基于接收器的方法，另一种是使用 CreateDirectStream 方法的直接方法。不知何故，在任何失败的离子火花流的情况下，都不会丢失数据，它是从你离开的数据的偏移量开始的。

【讨论】：