在 Spark 与 Spark 广播变量中处理 Hive 查找表

Question

我有两个数据集名称 dataset1 和 dataset2 和 dataset1 就像

empid  empame
101    john
102    kevin

而dataset2 就像

empid  empmarks  empaddress
101      75        LA
102      69        NY

dataset2 将非常庞大，我需要对这两个数据集进行一些操作，并且需要从以上两个datasets 中获取结果。 据我所知，现在我有两种选择来处理这些数据集：

1.将dataset1（较小的）存储为hive查找表，并通过Spark

进行处理

2.通过使用 Spark 广播变量，我们可以处理这些dataset。

请任何人建议我哪个是更好的选择。

Answer 1

这应该比提到的那两个选项更好。

因为你有公共密钥，你可以进行内部连接。

dataset2.join(dataset1, Seq("empid"), "inner").show()

您也可以像这样使用broadcast 函数/提示。这意味着您告诉框架应该将小数据帧（即 dataset1）广播给每个执行程序。

import org.apache.spark.sql.functions.broadcast
dataset2.join(broadcast(dataset1), Seq("empid"), "inner").show()

另请参阅以了解更多详细信息..

• DataFrame join optimization - Broadcast Hash Join 广播连接将如何工作。

• What-is-the-maximum-size-for-a-broadcast-object-in-spark