【发布时间】:2017-02-24 16:55:22
【问题描述】:
我正在尝试将目录中的文件上传到我在 HDFS 上创建的目录,但我无法这样做,因为 ubuntu 无法在我的机器上找到这些文件。 目录“states”(我正在尝试上传的一个)包含 50 个 txt 文件,位于我的下载文件夹中(路径:/home/shradha/Downloads)。我正在尝试将这些文件上传到 hdfs/states 的 ec2 hadoop 实例中(我已经创建了 hdfs 和状态)。 我在某处读到只能移动“tmp”文件夹中的文件,所以我将要上传到 hdfs 的目录移动到 tmp 文件夹仍然没有运气。 我试过 put、copyFromLocal、moveFromLocal 但没有任何效果。请看一下屏幕截图,我相信它与 hduser 有关。
【问题讨论】:
-
仅供参考:我假设有 4 个实例在这 50 个文件上执行 map-reduce。此屏幕截图中的终端是我的主节点。如果可能的话,您能否建议我应该将我的 jar(包含 map-reduce java 代码)放在 hadoop 上的哪个位置?我假设我必须使用类似的命令(如输入文件)来上传它。
-
1) 不要将终端输出作为图像发布。它不可索引,不可复制,什么都没有。 2)你能列出文件吗?他们是在那台机器上还是在其他机器上?
-
我在虚拟机上使用 Ubuntu。我要上传的文件存在于文件夹状态中,位于此处:'/home/shradha/Downloads'。文件夹状态有 50 个文本文件,我想上传到 hdfs。
标签: ubuntu hadoop amazon-ec2 hdfs master-slave