大数据与云计算技术周报（第151期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：数据库、Flink、5G、MongoDB、spark、Hbase、Hive、Ozone。全是干货，希望大家喜欢！！！

1数据库

本文主要介绍了数据库多活，从三个阶段介绍在数据库多活上做的工作

2Spark

本文将介绍 Spark 3.0 在 SQL 方面的优化。

35G

最近很多人问我4G和5G的区别，分享一个表格从kpi和物理层两个点简单概括两者的区别。

4Kubernetes

SUSE收购Rancher，成为企业级Kubernetes管理领域的市场领导者

5HBase

滴滴HBase团队日前完成了0.98版本 -> 1.4.8版本滚动升级，用户无感知。新版本为我们带来了丰富的新特性，在性能、稳定性与易用性方便也均有很大提升。我们将整个升级过程中面临的挑战、进行的思考以及解决的问题总结成文，希望对大家有所帮助。

https://www.iteblog.com/archives/9823.html

大数据与云计算技术周报（第151期)

6Flink

网易内部最开始基本上都是使用 Storm 来处理实时的计算任务，比较主要的使用场景是实时邮件反垃圾，广告，新闻推荐等业务。如今内部仍有一部分任务是运行在 Storm 上，大部分任务目前正往 Flink 上迁移，此次主要介绍在网易杭研使用Flink的一些思考与经验分享。

7HIVE

随着业务数据的不断增长，MySQL 内已经出现单表数据量两千多万的情况，当用户的任务出现 Metastore 密集操作的情况时，往往会出现缓慢甚至超时的现象，极大影响了任务的稳定性。长此以往，MySQL 在未来的某一天一定会不堪重负，因此优化 Hive 的元数据库势在必行。

8MongoDB

本文讲述了MongoDB副本集的两种形式数据同步：初始化同步和复制；以及从MongoDB 4.2.7版本开始，

initialSyncSourceReadPreference参数使用和作用

9Spark

10Ozone

本文将重点分享Ozone如何高效利用Multi-Raft的方案调优数据节点的吞吐量，从而达到写性能优化。Multi-Raft的方案和实习也是Ozone社区在最近一次0.5.0版本发布中重要的特性

11开心一刻

Delphi象吉普车，什么路上都能开，却在啥路上也开不好；PB就象卡丁车，只能在固定线路上开，到室外就有些不稳；VC象跑车，你开得起却买不起，而且一旦发生故障，想修都找不到毛病在哪；Java象敞棚车，不管刮风下雨还是艳阳高照，都能照开不误；VB就是摩托车，骑的时间越长，你越痛恨它！

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞