在 HDFS 中移动文件的最佳实践或工具

Question

我们正在对 map-reduce 进行 POC 以计算我们应用的模块使用情况。应用程序在位于单独盒子上的 J2EE 容器上运行，hadoop 安装在单独盒子上，我们需要将日志文件从应用程序容器盒子移动到 hadoop 盒子。下面提到的是一些需要帮助/建议的查询。

1. 有任何工具/框架可以将日志文件从多个位置移动到 HDFS 吗？什么是最佳做法？
2. 如何运行这个移动文件的工作？移动到 HDFS 应该是 cron 作业还是文件大小触发器？

Answer 1

您需要 Apache Flume。 Flume 是一种流行的标准工具，用于将日志文件移动到 Hadoop HDFS 中。 它可以作为 cron 作业运行。