有没有办法使用 Spark 而没有 Flume 将流数据从 Kafka 加载到 HDFS 中？答案

【问题标题】：Is there a way to load streaming data from Kafka into HDFS using Spark and without Flume?有没有办法使用 Spark 而没有 Flume 将流数据从 Kafka 加载到 HDFS 中？
【发布时间】：2018-03-31 05:56:44
【问题描述】：

我正在寻找是否有一种方法可以使用 spark 流而不使用 Flume 将流数据从 Kafka 直接加载到 HDFS。我已经尝试过使用 Flume（Kafka 源和 HDFS 接收器）。

提前致谢！

【问题讨论】：

完美候选：Spark Streaming

标签： apache-spark apache-kafka hdfs flume

【解决方案1】：

这是 Spark Streaming 的一个非常基本的功能。根据您使用的 spark 和 Kafka 版本，您可以查看您使用的版本的 spark 流式 kafka 集成文档。保存到 HDFS 就像 rdd.saveAsTextFile("hdfs:///directory/filename") 一样简单。

Spark/Kafka integration guide for latest versions

【讨论】：

【解决方案2】：

Kafka Connect 有 HDFS connector。 Confluent 的文档have more information.

【讨论】：