如何在hadoop集群上安装Kafka？

【问题标题】：How to install Kafka on hadoop cluster?如何在hadoop集群上安装Kafka？
【发布时间】：2015-09-11 11:47:25
【问题描述】：

我想在我们的 HortonWorks Hadoop 集群上安装最新版本的 Kafka，该集群包含 2 个主节点、2 个边缘节点和 8 个数据节点。计划是在 8 个数据节点盒中的 2 个上安装 Kafka。 Kafka 每天需要处理多达几百万个事件，可能需要处理几批大小为 0.5Gb-1.2Gb 的文件。

问题：为了避免 kafka（或数据节点）潜在的性能下降，我需要考虑对数据节点或 kafka 进行任何特殊配置吗？

Kafka 通常是如何部署的（在专用盒子上还是可以在数据节点上运行）？

【问题讨论】：

标签： hadoop apache-kafka

【解决方案1】：

您可以通过 Ambari 安装 kafka。转到 Ambari 的主页 -> 点击操作（左下角） -> 点击“添加服务” -> 选择“Kafka” -> 选择节点 -> 部署 -> 完成。你的集群上有kafka

您可以在“附录 A”http://hortonworks.com/hadoop-tutorial/simulating-transporting-realtime-events-stream-apache-kafka/ 中查看屏幕截图

【讨论】：

它没有回答这个问题。这不是关于安装 kafka 的技术方式，而是关于 hadoop/kafka 共享集群中的最佳集群拓扑。
@Arnaud - 问题不清楚。如果您谈论 kafka 集群的最佳拓扑（在生产中） - 最好为 kafka 配备专用硬件，这样它就不会占用数据节点/容器的资源并影响集群生产作业。扩展/缩减专用硬件非常容易。您可以随时根据负载增加或拆除 kafka 节点。希望这会有所帮助