【发布时间】:2017-06-12 16:10:25
【问题描述】:
我正在使用 Python 程序运行 hadoop mapreduce 作业,该程序创建不同的输入路径作为 mapreduce 作业的参数。我目前正在检查 hadoop fs 路径是否存在,在我将这些输入路径传递到 mapreduce 之前,使用以下命令:
hadoop fs -test -e 'filename'
然后我的 Python 程序与命令行通信并确定文件是否存在(当文件存在时 -test 返回 0,否则返回大于 1 的整数)。由于 Python 程序正在检查路径是否存在并将所有不存在的路径输出到单独的 .txt 文档,因此我不需要知道哪些路径不存在作为命令行警告。
我想知道如何抑制(或忽略)自动 hadoop fs 输出:
test: 'fileName': No such file or directory
因为我正在输入大量路径,其中不少路径在 hadoop fs 中不存在。
【问题讨论】:
标签: hadoop command-line mapreduce suppress-warnings