在 spark-1.0 中实现 kafka 消费者答案

【问题标题】：Implementing kafka consumer in spark-1.0在 spark-1.0 中实现 kafka 消费者
【发布时间】：2014-10-02 02:54:40
【问题描述】：

我需要在 spark 1.0 的 spark 流中实现 kafka 消费者。我写了一个卡夫卡制作人。谁能帮我写一个火花接收器来从kafka中提取消息？另外，请问如何在 Intellij IDEA 中运行 kafka spark 流式传输项目？

【问题讨论】：

标签： intellij-idea apache-spark apache-kafka spark-streaming

【解决方案1】：

Spark 流式传输带有自己的消费者。

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.0.2</version>
</dependency>

在官方存储库中存在一些用于流式传输的 examples 和用于 kafka 的字数。

在 intellij 中，只需导入 spark-streaming 和 spark-streaming-kafka 模块，然后像示例一样编写一个简单的 main。

【讨论】：

【解决方案2】：

https://github.com/dibbhatt/kafka-spark-consumer

.. 该实用程序将有助于使用 Spark 从 Kafka 集群中提取消息流媒体。卡夫卡消费者是低级卡夫卡消费者（ SimpleConsumer) 并更好地处理 Kafka 偏移量和处理故障 ..

根据this blog post，

在下游故障（例如 Spark 机器死机）的情况下提供更好的重放控制。

【讨论】：

【解决方案3】：

使用 KafkaUtils.createStream();

这里是 API：https://spark.apache.org/docs/1.0.2/api/java/index.html?org/apache/spark/streaming/kafka/KafkaUtils.html

【讨论】：