MapReduce 到 Spark

Question

我有一个用 Java 编写的 MapReduce 作业。它取决于多个类。我想在 Spark 上运行 MapReduce 作业。

我应该遵循哪些步骤来做同样的事情？

我只需要对 MapReduce 类进行更改吗？

谢谢！

Answer 1

这是一个非常广泛的问题，但简短的是：

1. 创建输入数据的 RDD。
2. 使用您的映射器代码致电map。输出键值对。
3. 使用您的减速器代码致电reduceByKey。
4. 将生成的 RDD 写入磁盘。

Spark 比 MapReduce 更灵活：您可以在第 1 步和第 4 步之间使用多种方法来转换数据。