Hadoop官网
Hadoop来源
- GFS -> HDFS
- MapReduce -> MapReduce
- BigTable -> HBase
Common
The common utilities that support the other Hadoop modules.
- 工具、基础、为工程服务
HDFS
A distributed file system that provides high-throughput access to application data.
- 存储海量数据
- 分布式
- 安全性：副本数据
- 数据是以block的方式进行存储的
YARN
A framework for job scheduling and cluster resource management.
- 分布式资源管理框架
- 管理整个集群的资源（内存、CPU核数）
- 分配调度集群的资源
MapReduce
A YARN-based system for parallel processing of large data sets.
- 对海量数据的处理
- 分布式
- 思想：分而治之。
- 大数据集分为小的数据集，进行逻辑业务处理（map），合并统计数据集结果（reduce）