检查给定时间点任何作业是否正在使用 HDFS 中的给定输入文件

【问题标题】：Check whether a given input file in HDFS is being used by any job at a given point in time检查给定时间点任何作业是否正在使用 HDFS 中的给定输入文件
【发布时间】：2014-06-20 07:09:23
【问题描述】：

如果我在 HDFS 中提交一个输入文件并运行多个访问该文件的作业，有没有办法检查输入文件是否正在被这些作业中的任何一个和/或这些作业中的哪一个在任何给定时刻访问及时吗？

【问题讨论】：

标签： hadoop hdfs jobs

【解决方案1】：

您可以在作业的映射器中打印文件名。当此作业运行时，它将打印名称，您可以找出当时该作业正在使用哪个文件。这是您从映射器中获取文件名的方式：

FileSplit fileSplit = (FileSplit)context.getInputSplit();
String filename = fileSplit.getPath().getName();

HTH

【讨论】：