hadoop 在 windows 上，如何将 D:\folder1 和 E:\folder1 添加到 hdfs？答案

【问题标题】：hadoop on windows, how to add D:\folder1 and E:\folder1 to hdfs?hadoop 在 windows 上，如何将 D:\folder1 和 E:\folder1 添加到 hdfs？
【发布时间】：2016-06-25 03:57:05
【问题描述】：

hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

我的文件夹非常大，大约 3 TB。我不想复制文件夹，我想将 hdfs 设置为该位置。如何制作？

【问题讨论】：

将 hdfs 设置到那个位置？这是什么意思？
旧的大文件夹 D:\folder1 and E:\folder1 只是让 hdfs 保存在 D:\folder1 and E:\folder1 上
不，它必须在 hdfs 上才能使用 hadoop 功能。否则，您只是在本地拥有该文件，而 hadoop 无法运行 map/reduce 作业或维护复制等。
谢谢！我的文件都是图像资源。我不需要map reduce，我只想访问、保存和删除它们。你能有更好的主意吗？ @AniMenon
使用数据库。不是hdfs。 Check this

标签： hadoop

【解决方案1】：

HDFS：Hadoop 分布式文件系统。

您不能添加指向某个位置的链接，因为数据必须存在于 HDFS 中（而不是在本地）。使用 hadoop 的重点是分布式计算，当您的数据分布在集群上时，这是可能的。

hadoop fs -put 必须用于将文件从本地移动到 hdfs 才能使用 hadoop 框架。

【讨论】：

但我不想移动或复制，因为磁盘容量太小无法复制。旧的文件夹被旧的软件系统使用。我可以hadoop fs -put 并让 hdfs 保存在文件夹的旧位置吗？
@Gank 不，该文件必须驻留在 hdfs 上，才能使用包含 map reduce 和所有其他功能的 hadoop 框架。
谢谢！我的文件都是图像资源。我不需要map reduce，我只想访问、保存和删除它们。我能做到吗？
你需要一个数据库，而不是 hdfs。