本地文件和 Hadoop 文件之间的差异

【问题标题】：diff between local and Hadoop file本地文件和 Hadoop 文件之间的差异
【发布时间】：2014-04-01 19:18:43
【问题描述】：

我正在尝试以下方法：

#!/bin/sh
while read LINE
do
diff source_$LINE <(hadoop fs -cat /user/hadoop-path/$LINE/output) > diff_$LINE
done < FILE

从 cmd Line 可以正常工作，但从 shell 会出现错误：意外标记 `(' 附近的语法错误

有什么帮助吗？

【问题讨论】：

【解决方案1】：

进程替换在 POSIX shell (#!/bin/sh) 中不可用。您的交互式 shell 显然是 bash，而您的脚本不是。将 shebang 更改为 #!/bin/bash，或在脚本中使用此处的文档：

diff source_$LINE - <<EOF > diff_$LINE
$(hadoop fs -cat /usr/hadoop-path/$LINE/output)
EOF

【讨论】：