大数据与云计算技术周报（第159期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：MongoDB、Flink、Redis、sql、数据治理、ES、spark。全是干货，希望大家喜欢！！！

1Redis

Redis出现访问延迟变大，都与我们的使用不当或运维不合理导致的。

这篇文章我们就来分析一下Redis在使用过程中，经常会遇到的延迟问题以及如何定位和分析

https://mp.weixin.qq.com/s/y6n40BJWMn6yN3NMAaK88g

2ElasticSearch

本文介绍了ElasticSearch的必备知识：从入门、索引管理到映射详解。

https://mp.weixin.qq.com/s/NKdM23GEo-MopF0JRwWtJg

3指标体系

文章整体介绍了滴滴指标体系建设方法论和工具产品的建设情况，目前指标字典和开发工具已实现流程打通，与数据消费产品的打通后续会通过DataAPI方式提供数据服务，规划建设中。

https://mp.weixin.qq.com/s/roepZGOHZ-W3Ef7J5Tdkgw

4数据治理

美团配送数据治理实践

没有数据治理这一环节，带来后果往往是：随处可见的数据不统一，难以提升的数据质量，难以完成的模型梳理，难以保障的数据安全等等

https://tech.meituan.com/2020/03/12/delivery-data-governance.html

大数据与云计算技术周报（第159期)

5MongoDB

本文讲述了MongoDB的WiredTiger存储引擎之事务相关的数据结构和MVCC并发控制机制

https://mongoing.com/archives/74865

大数据与云计算技术周报（第159期)

6华为

外界多将华为的鸿蒙对标谷歌的安卓，事实上，安卓不具备分布式能力，为了卡位物联网时代，谷歌准备了一套新的开源操作系统Fuchsia（中文名“紫红”）。

https://mp.weixin.qq.com/s/0FRyDP28VO1BQKBlWCm9Cg

7sql

保持良好的SQL语句编写习惯将会降低SQL性能问题的发生，本文详细总结了20种非常实用的SQL语句优化。

https://zhuanlan.zhihu.com/p/169456404?utm_source=wechat_session&utm_medium=social&s_r=0

大数据与云计算技术周报（第159期)

8flink

本文将介绍信息流场景下，腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构。

https://mp.weixin.qq.com/s/k0h2IkAMniHiCJjA1l5Wyg

9spark

数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划（physical plan）阶段，Spark 的 JoinSelection 类会根据 Join hints 策略、Join 表的大小、 Join 是等值 Join（equi-join）还是不等值（non-equi-joins）以及参与 Join 的 key 是否可以排序等条件来选择最终的 Join 策略（join strategies），最后 Spark 会利用选择好的 Join 策略执行最终的计算

https://mp.weixin.qq.com/s/HusOqNA-45lpf5GduLz-pA

11开心一刻

”如果你ctrl+alt+del，蹦出任务管理器，你从上到下扫一眼，所有的进程你都认识，知道他们是干什么的，并且知道关掉有什么后果，而且你还能从CPU和内存占用的数字跳动上清楚的知道电脑现在什么状态，那么你应该没有女朋友”………..你妹啊

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞