一、数据湖背景中的数据存储和Lambda批处理层
1、数据存储和Lambda批处理层
- 存储层应该能够处理以下内容:
- 支持各种查询分析工具
- 不同模式下的多种类型的数据
- 不同格式的数据
- 不同规模的需求
- 采用各种数据压缩技术保持持久化的效率
- 不同的数据处理速度
- 视情况而定,提供不同的查询机制和语言支持
2、数据存储和Lambda批处理层--技术路线图
3、什么是apache Hadoop
apache hadoop是一种计算框架,在该框架中计算机集群可以进行分布式运算,同时也可以存储大量不同格式的数据。本章主要介绍其分布式存储数据的能力,而不过多关注其计算能力。