Hadoop入门
1.Hadoop概述
1.1大数据概念
- 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
- 大数据主要解决的问题：海量数据的存储和计算
1.2大数据特点
- Volume （大量）
- Velocity （高速）
- Variety （多样）
- Value （低价值密度）
- Veracity （真实性）
2.Hadoop架构
2.1 大数据开发流程：
获取数据源 => 搭建大数据平台进行数据存储和计算 => 数据可视化
2.2企业部门架构
- 平台组
- Hadoop、Spark等框架的搭建
- 集群性能监控和调优
- 数仓组
- ETL工程师：数据清洗，包括数据抽取(Extract)、转化(Transform)、加载(Load)。
- Hive工程师：数据分析HQL、数仓建模。
- 数据挖掘组
- 算法工程师
- 推荐系统
- 用户画像
- 报表开发
- JavaEE工程师