1. Reduce Join工作原理
- Map端的主要工作:为来自不同表或文件的key/value对,打标签以区别不同来源的记录。然后用连接字段作为key,其余部分和新加的标志作为value,最后进行输出。
2. Map Join
- 使用场景:适用于一张表十分小,一张表很大的场景;
- 在 Map 端缓存多张表,提前处理业务逻辑,这样增加Map端业务,减少Reduce端数据的压力,尽可能减少数据倾斜;
相关文章:
-
2021-04-25
-
2022-01-31
-
2022-02-07
-
2021-04-25
-
2021-09-14
-
2021-12-05
-
2022-12-23
猜你喜欢
-
2022-12-23
-
2022-12-23
-
2021-07-20
-
2021-12-13
-
2021-04-03
-
2022-01-08
-
2021-05-06
相关资源
-
下载
2023-01-15
-
下载
2021-06-24
-
下载
2023-04-02