大数据和云计算技术周报（第134期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：Hudi、Hbase、MongoDB、DL、知识图谱、Phoenix、Kafka。全是干货，希望大家喜欢！！！

1同城双活

目前“同城双活”整体方案已经较为成熟，各层的解决技术也有很多，本文中将重点介绍存储的双活解决方案。目前可以选用的存储双活方案较多，比如华为HyperMetro、Dell EMC VPLEX、IBM SVC、HDS GAD、NetApp MetroCluster等，各方案均有其优缺点，根据业务场景的不同可以选择不同的方案使用。

https://mp.weixin.qq.com/s/VOQLr1ZMQDIJIUjUS9ATRA

2Hudi

Hudi将记录写入数据 parquet文件或日志 log文件，而这些文件在内存中是如何进行管理呢？如之前的文章中提到过的 HoodieFileGroup、 FileSlice等与数据文件和日志文件是什么对应关系？本篇详细分析 Hudi的文件管理

https://mp.weixin.qq.com/s/9Hw8czDczAZOoehb_5yzEA

3DL

ACNet可以以可观察的幅度增强模型对旋转失真的鲁棒性，并显著增强方形卷积核的骨骼部分。并且ACNet也易于使用主流框架实现，方便研究者follow这项工作。

https://mp.weixin.qq.com/s/AAlCwaLMg_PEXSEyGgvdVg

2018 图灵奖获得者之一 Yoshua Bengio 在 IEEE 的访谈中表达了他对深度学习未来发展的看法。

AI 系统应该具备推理、规划和想象的能力，因果推断、注意力、元学习、掌握物理规律对于未来深度学习的发展都非常重要。

https://mp.weixin.qq.com/s/g37-Jm9CBsRNShnunlJVbQ

4Apache Phoenix

最近由于工作方面的原因需要解析 Apache Phoenix 底层的原始文件，也就是存在 HDFS 上的 HFile。但是由于 Phoenix 有自身的一套数据编码方式，但是由于本人对 Phoenix 这套根本就不熟悉，所以只能自己去看相关代码。但是 Apache Phoenix 是个大工程啊，不可能一个一个文件去找的，这会相当的慢。这时候我想到的是搭建一个 Phoenix 测试环境，然后调试。但是熟悉 Apache Phoenix 的同学肯定知道，如果想运行 Apache Phoenix，得部署 JDK、HDFS、Zookeeper、HBase、Phoenix！！！非常的繁琐。

https://www.iteblog.com/archives/6625.html

大数据和云计算技术周报（第134期)

5Kafka

本文讲解了严锁鹏老师在2019 DAMS中国数据智能管理峰会关于360千亿级数据量的 Kafka 深度实践的报告。

https://mp.weixin.qq.com/s/Y6gSjVU_a6aQnMT4NEM_Pw

6MongDB

本文主要从集群的监测、慢查询查看与设置、日志级别调整和缓存设置、复制集和分片管理、数据的导入和导出、数据迁移，MongDB应用中遇到的问题及解决方案以及MongoDB的优化方面分享了MongoDB运维的实战经验。。

https://www.jianshu.com/p/f05f65d3a1dc

大数据和云计算技术周报（第134期)

7MongoDB

本文讲述了使用node.js通过mongoose来连接MongoDB进行CRUD操作。

https://www.jianshu.com/p/2e64ae1e096b

大数据和云计算技术周报（第134期)

8微服务

在企业级软件应用开发中，长期以来，API、服务、数据以及系统的集成都是最具挑战性同时也是最基本的需求。在过去，我们会将这些独立的应用以点对点的方式进行集成，这种方式随后被企业服务总线（enterprise service bus，ESB）和面向服务架构（service-oriented architecture，SOA）所替代。但是，在现代微服务和云原生架构中，我们很少再去讨论应用集成了。但这并不意味着这种现代架构已经解决了企业应用集成的所有挑战。应用集成的挑战几乎没有什么变化，但是我们解决它们的方式却发生了变化。

https://mp.weixin.qq.com/s/TowFufrIo1ayJrc2---I9w

9知识图谱

近日，InfoQ 记者在 AICon 全球人工智能与机器学习大会北京 2019 现场采访了华为中央软件院知识图谱首席技术专家贾岩涛，他与我们分享了知识图谱在信息通信行业的研究和应用重点，以及从非互联网公司视角看到的知识图谱未来的可能性。

https://mp.weixin.qq.com/s/zQAmTnS8Nn1Jve22tT9x-g

10Hbase

本文首先比较系统的介绍了CMS GC的相关知识，之后分三个阶段层层推进对HBase集群中相关重要参数的调优进行了详细说明。

https://mp.weixin.qq.com/s/j_ruo-iuCqSixIXE7a9ggA

11开心一刻

正在码代码ing，医院回来的同事一脸的苦逼样子，问他怎么了？他回答：得了类风湿性关节炎了，我怕会遗传给下一代啊。我一脸的问号：谁说类风湿性关节炎能遗传的？丫一脸诧异：类不是继承的吗？

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞