【发布时间】：2013-09-15 00:16:18
【问题描述】：
我觉得在 Perl 脚本中执行 Mapper 操作，但后来我意识到用 Python 编写 Reducer 会更容易。 Mapper 和 Reducer 可以在不同的编程语言中工作吗？
【问题讨论】：
-
显而易见的答案是是的——但我怀疑这是你的实际问题。
标签： perl python-3.x mapreduce elastic-map-reduce
【发布时间】：2013-09-15 00:16:18
【问题描述】：
从标签看来，您正在使用 Amazon 的 Elastic Map Reduce 服务。这个问题在他们的excellent FAQ中得到了回答：
问：Amazon Elastic MapReduce 支持哪些编程语言？
您可以使用 Java 来实现 Hadoop 自定义 jar。或者，您可以使用其他语言，包括 Perl、Python、Ruby、C++、PHP、 和 R 通过 Hadoop Streaming。请参考开发者指南 使用 Hadoop Streaming 的说明。
换句话说，任何可以写入文件的内容都可以在 EMR 映射或归约步骤中使用。
【讨论】：
-
亚马逊确实提到我们可以有许多不同的语言，但没有提到我们可以有多种语言的组合，这似乎很明显，但只是想确认一下，因为我的工作通过 EMR 失败但在本地工作正常。可能有一些不同的问题。无论如何，谢谢！