Hadoop HDFS 存储位置

【问题标题】：Hadoop HDFS Storage LocationHadoop HDFS 存储位置
【发布时间】：2026-01-27 01:35:01
【问题描述】：

我已经使用 Eclipse 使用单节点集群配置了 Hadoop。而且我有大量要解析的文本文件。 Eclipse 提供将文件直接上传到 HDFS，但我无法找到这些文件在我的驱动器中的确切存储位置。

我正在寻找的是配置 HDFS 的位置。这样我就可以直接将我的文本文件粘贴到该文件夹中。

【问题讨论】：

查看插件手册页可能会为您提供一些关于它如何获取本地文件并将它们放在 HDFS 上的信息。
我目前是 Hadoop 的初学者，你能告诉我如何查看插件手册页吗？
我没有使用 Eclipse 在 Hadoop 上工作。你是怎么设置的？我假设你使用了一个插件（可能是一个糟糕的猜测）。
是。我已经为 Eclipse 使用了 hadoop-plugin。

【解决方案1】：

这是在dfs.datanode.data.dir 属性中设置的，默认为file://${hadoop.tmp.dir}/dfs/data（详见here）。

但是，您不能只将文件放在那里，因为 HDFS 不会自动发现它们。插入文件 HDFS 也涉及名称节点上的元数据操作。它不仅仅是复制文件那么简单。文件需要分成块，并且需要在名称节点中更新适当的元数据数据结构。您应该继续使用 Eclipse 提供的接口将文件上传到 HDFS，或者您可以在命令行中执行此操作（使用 hdfs dfs -put）。

【讨论】：