处理 HDFS 数据的 Kafka 消费者应该在哪里运行？答案

【问题标题】：Where should a Kafka consumer that processes HDFS data run?处理 HDFS 数据的 Kafka 消费者应该在哪里运行？
【发布时间】：2016-03-03 22:06:07
【问题描述】：

我是 Hadoop 和 Kafka 的新手。我继承了在桌面 Windows 机器上运行的 Kafka 消费者的代码，接收远程集群上可用的新 XML 数据的 HDFS 位置，下载数据进行处理，并将结果写回 HDFS 集群。

在我看来，消费者应该在集群上运行，因为这是数据所在的地方，但我看到的所有示例 Kafka 消费者代码都表明生产者/消费者在常规桌面计算机上运行。 Kafka 消费者的典型目标平台是什么？

【问题讨论】：

【解决方案1】：

生产者和消费者可以在任何地方运行。您看到的示例暗示了桌面执行，因为该代码比在 Storm 拓扑中运行的代码简单得多，并且示例往往过于简单。桌面环境的唯一原因是应用程序存在 UI。

如果应用程序是无头的，那么将执行移动到尽可能靠近数据（Kafka 和 HDFS）的位置确实很有意义。

【讨论】：