我有一个 perl 程序，它将接受一个输入文件并对其进行处理并生成一个输出文件作为结果。现在我需要在 hadoop 上使用这个 perl 程序。因此，perl 程序将在边缘节点上存储的数据块上运行，我不应该修改 perl 代码。我不知道如何开始。有人可以给我任何建议吗？
我可以编写一个java程序，在mapper类中使用process builder调用perl程序并将结果合并到reducer类中吗？？
还有其他方法可以实现吗？
【问题讨论】：
标签： java perl hadoop mapreduce hadoop-streaming
我相信您可以使用 hadoop streaming 做到这一点。
根据tom white，hadoop definitive guide, 3rd edition 的作者。页面# 622，附录C。
他使用hadoop 以mapper 的形式执行bash shell 脚本。
在您的情况下，您需要使用 perl script 而不是 bash shell script。
用例：他有一个lot of small files（一个大的tar文件输入），他的shell脚本将它们转换成few big files（一个大的tar文件输出）。
他使用 hadoop 通过将bash shell script 作为映射器来并行处理它们。因此，此映射器并行处理输入文件并产生结果。
hadoop 命令示例：（复制粘贴）
hadoop jar $HADOOP_INSTALL/contrib/streaming/hadoop-*-streaming.jar \
-D mapred.reduce.tasks=0 \
-D mapred.map.tasks.speculative.execution=false \
-D mapred.task.timeout=12000000 \
-input ncdc_files.txt \
-inputformat org.apache.hadoop.mapred.lib.NLineInputFormat \
-output output \
-mapper load_ncdc_map.sh \
-file load_ncdc_map.sh
在这两个地方用你的xyz.perl 替换load_ncdc_map.sh（命令的最后两行）。
将ncdc_files.txt 替换为另一个包含要处理的输入文件列表的文本文件。（从底部算起的第5 行）
假设：您有一个功能齐全的 hadoop 集群正在运行，并且您的 perl 脚本没有错误。
请尝试告诉我。
【讨论】：
任何 java 程序中的进程构建器都用于调用非 java 应用程序或脚本。从映射器类调用时，流程构建器应该可以工作。您需要确保 perl 脚本、perl 可执行文件和 perl 库可用于所有映射器。
【讨论】：
聚会迟到了……
我即将开始使用 Hadoop::Streaming。这似乎是要使用的共识模块。
【讨论】：