水槽无法连接到 HDFS 端口 9099答案

【问题标题】：flume cannot connect to HDFS port 9099水槽无法连接到 HDFS 端口 9099
【发布时间】：2014-12-18 21:31:08
【问题描述】：

我正在尝试使用 flume 访问日志文件 HDFS。我已连接到端口 9099，但我不知道为什么 flume 尝试连接 8020 我收到以下错误：

java.net.ConnectException：从 localhost.localdomain/127.0.0.1 调用到 localhost:8020 连接异常失败：java.net.ConnectException：连接被拒绝；更多详情见：http://wiki.apache.org/hadoop/ConnectionRefused

NameNode 正在使用 netstat -tlpn | 监听端口 9099 grep :9099

我认为设置它的方法是格式化namenode并将端口设置为8020，但我不想这样做，因为它会格式化所有内容。请帮忙

【问题讨论】：

你能提供你的水槽配置的内容吗？

标签： hadoop flume

【解决方案1】：

8020 是运行名称节点的默认端口。

您可以在core-site.xml 中为属性fs.default.name 更改它，正如您提到的，它在9099 端口上运行。检查一次是否在此处提及。
检查指定 namenode 详细信息的水槽配置文件。您可以停止集群并将端口号更改为默认值并重新启动它。无需为此格式化名称节点。在回答您的问题之前，我已经进行了相同的测试。
希望对您有所帮助！

【讨论】：

【解决方案2】：

8020 是默认端口；要覆盖它，您可以使用 flume-conf.properties。使用

更新您的配置

kafkaTier1.sinks.KafkaHadoopSink.hdfs.path = hdfs://NAME_NODE_HOST:PORT/flume/kafkaEvents/%y-%m-%d/%H%M/%S

【讨论】：