【发布时间】：2015-09-03 07:14:10
【问题描述】：
我想为 File 的每一行进行服务调用。我们的源文件大于 50 GB。迭代超过 50GB 的 Row 可能需要更多时间。是否需要编写任何内置功能或任何 Map Reduce 程序来调用每一行的服务。由于 Map Reduce 提供了一点并行化。是否有任何自定义工具已经构建了这个需求
【问题讨论】：
【发布时间】：2015-09-03 07:14:10
【问题描述】：
map-reduce 的基本要求是任务应该并行运行，而不会对单个结果产生任何影响。如果你的服务调用独立于其他东西，你可以使用 map reduce。我认为只有 map 就足够了，可以阅读每一行并进行服务调用。但是，您也需要考虑地图的另一面。您将如何处理服务调用以及最终使用地图。那部分决定reducer的事情
【讨论】：
-
感谢 Ramzy，我们将致电服务并获得价值。我们需要使用服务调用值更新行，即我们可以认为添加另一列相同的文件或不同的 hdfs 文件，为此我们可以执行插入到另一个 hive 内部表中。基于对行的读取。
-
好的，满意就接受吧，或者你可以等待更多答案