预定数据加载到 Hadoop

【问题标题】：Scheduled data load into Hadoop预定数据加载到 Hadoop
【发布时间】：2015-03-20 15:34:00
【问题描述】：

只是想知道将来自各种来源的数据批量加载到 HDFS 的最佳方式是什么，主要是在预定时间以固定频率从 FTP 位置/文件服务器。

我知道 Sqoop / Oozie 组合可用于 RDBMS 数据。但是，想知道使用调度机制将非结构化数据加载到 HDFS 的最佳方法是什么。

【问题讨论】：

我最近一直在研究这个，似乎没有什么好方法——似乎每个人都为此编写了自己的代码，或者根本不关心这个案例。不过我很想被证明是错误的！

【解决方案1】：

你可以用shell编程来做。我可以用一些代码来指导

 hadoop fs -cp ftp://uname:password@ftp2.xxxxa.com/filename  hdfs://IPofhdfs/user/root/Logs/

几点：

   1 finding the new files in ftp folder source by comparing  hdfs dest with filenames.
   2 pass the new filename to hdfs copy command.

---列出ftp中的所有文件，将文件列表存储到allfiles.txt--

  ftp -in ftp2.xxxx.com << SCRIPTEND
  user Luname pass
  lcd /home/Analytics/TempFiles
  ls > AllFiles.txt
  binary
  quit
  SCRIPTEND

  let me know if you need any info

【讨论】：

感谢 Sravan，但我只是想知道是否有更好的方法来比较源列表和 HDFS 等中的列表。
在 Ftp 端，如果您有权限将文件移动到下载的文件夹。这可能很容易。