【发布时间】：2014-12-01 09:53:59
【问题描述】：
我想将包含子目录和文件列表的目录加载到 /flume/events 下的 HDFS 中。我正在使用 cloudera cdh5.1
请您在这方面帮助我。我想对如何摄取/加载包含子目录和文件的目录进行编码。我对使用flume api/java api将文件加载到hdfs有一个想法
提前致谢
【问题讨论】：
标签： apache hadoop flume flume-ng
【发布时间】：2014-12-01 09:53:59
【问题描述】：
您使用 Flume 或 Java 有什么原因吗？ HDFS 包含一个从本地文件系统复制到 HDFS 的实用程序：
$ hdfs dfs -put <localsrc> ... <dst>
开关 -copyFromLocal 做同样的事情；使用 -moveFromLocal 会在复制后删除本地文件。
使用
$ hdfs dfs -help
了解更多信息。
【讨论】：
-
我问的是使用 java/flume 的 api 而不是 CLI 命令的编码