案例说明
现有如此三份数据：
1、users.dat 数据格式为： 2::M::56::16::70072，
共有6040条数据
对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String
对应字段中文解释：用户id，性别，年龄，职业，邮政编码
2、movies.dat 数据格式为： 2::Jumanji (1995)::Adventure|Children’s|Fantasy，
共有3883条数据
对应字段为：MovieID BigInt, Title String, Genres String
对应字段中文解释：电影ID，电影名字，电影类型
3、ratings.dat 数据格式为： 1::1193::5::978300760，
共有1000209条数据
对应字段为：UserID BigInt, MovieID BigInt, Rating Double, Timestamped String
对应字段中文解释：用户ID，电影ID，评分，评分时间戳
题目要求
数据要求：
（1）写shell脚本清洗数据。（hive不支持解析多字节的分隔符，也就是说hive只能解析’:’, 不支持解析’::’，所以用普通方式建表来使用是行不通的，要求对数据做一次简单清洗）
（2）使用Hive能解析的方式进行
Hive要求：
（1）正确建表，导入数据（三张表，三份数据），并验证是否正确
（2）求被评分次数最多的10部电影，并给出评分次数（电影名，评分次数）
（3）分别求男性，女性当中评分最高的10部电影（性别，电影名，影评分）
（4）求movieid = 2116这部电影各年龄段（因为年龄就只有7个，就按这个7个分就好了）的平均影评（年龄段，影评分）
（5）求最喜欢看电影（影评次数最多）的那位女性评最高分的10部电影的平均影评分（观影者，电影名，影评分）
（6）求好片（评分>=4.0）最多的那个年份的最好看的10部电影
（7）求1997年上映的电影中，评分最高的10部Comedy类电影
（8）该影评库中各种类型电影中评价最高的5部电影（类型，电影名，平均影评分）
（9）各年评分最高的电影类型（年份，类型，影评分）
（10）每个地区最高评分的电影名，把结果存入HDFS（地区，电影名，影评分）
解析：
1、建表，导入数据
创建一个数据库movie，在数控里创建三张表：t_user,t_movie,t_rating。
2、求被评分次数最多的10部电影，并给出评分次数（电影名，评分次数）
（1）思路分析：
1、需求字段：电影名 t_movie.moviename
评分次数 t_rating.rate count()
2、核心SQL：按照电影名进行分组统计，求出每部电影的评分次数并按照评分次数降序排序
（2）sql:
(3)运行情况：
3、分别求男性，女性当中评分最高的10部电影（性别，电影名，影评分）
（1）分析思路：
1、需求字段：性别 t_user.sex
电影名 t_movie.moviename，影评分 t_rating.rate
2、核心SQL：三表联合查询，按照性别过滤条件，电影名作为分组条件，影评分作为排序条件进行查询
3、sql：
4、运行情况：
男性当中评分最高的10部电影（性别，电影名，影评分）评论次数大于等于50次
运行情况：
4、求movieid = 2116这部电影各年龄段（因为年龄就只有7个，就按这个7个分就好了）的平均影评（年龄段，影评分）
（1）分析思路：
1、需求字段：年龄段 t_user.age，影评分 t_rating.rate
2、核心SQL：t_user和t_rating表进行联合查询，用movieid=2116作为过滤条件，用年龄段作为分组条件
3、sql：
运行情况：
5、求最喜欢看电影（影评次数最多）的那位女性评最高分的10部电影的平均影评分（观影者，电影名，影评分）
（1）分析思路：
1、需求字段：观影者 t_rating.userid，电影名 t_movie.moviename，影评分 t_rating.rate
2、核心SQL：
A. 需要先求出最喜欢看电影的那位女性
需要查询的字段：性别：t_user.sex，观影次数：count(t_rating.userid)
B. 根据A中求出的女性userid作为where过滤条件，以看过的电影的影评分rate作为排序条件进行排序，求出评分最高的10部电影
需要查询的字段：电影的ID：t_rating.movieid
C. 求出B中10部电影的平均影评分
需要查询的字段：电影的ID：answer5_B.movieid，影评分：t_rating.rate
3、sql：
A. 需要先求出最喜欢看电影的那位女性
B. 根据A中求出的女性userid作为where过滤条件，以看过的电影的影评分rate作为排序条件进行排序，求出评分最高的10部电影
运行情况：
C. 求出B中10部电影的平均影评分
运行情况：
6、求好片（评分>=4.0）最多的那个年份的最好看的10部电影
（1）分析思路：
1、需求字段：电影id t_rating.movieid，电影名 t_movie.moviename（包含年份），影评分 t_rating.rate，上映年份 xxx.years
2、核心SQL：
A. 需要将t_rating和t_movie表进行联合查询，将电影名当中的上映年份截取出来，保存到临时表answer6_A中，需要查询的字段：电影id t_rating.movieid，电影名 t_movie.moviename（包含年份），影评分 t_rating.rate
B. 从answer6_A按照年份进行分组条件，按照评分>=4.0作为where过滤条件，按照count(years)作为排序条件进行查询
需要查询的字段：电影的ID：answer6_A.years
C. 从answer6_A按照years=1998作为where过滤条件，按照评分作为排序条件进行查询
需要查询的字段：电影的ID：answer6_A.moviename，影评分answer6_A.avgrate
3、sql：
运行情况：
B. 从answer6_A按照年份进行分组条件，按照评分>=4.0作为where过滤条件，按照count(years)作为排序条件进行查询
C. 从answer6_A按照years=1998作为where过滤条件，按照评分作为排序条件进行查询
运行情况：
7、求1997年上映的电影中，评分最高的10部Comedy类电影
（1）分析思路：
1、需求字段：电影id t_rating.moviei，
电影名 t_movie.moviename（包含年份）， 影评分 t_rating.rate，上映年份 xxx.years（最终查询结果可不显示），电影类型 xxx.type（最终查询结果可不显示）
2、核心SQL：
A. 需要电影类型，所有可以将第六步中求出answer6_A表和t_movie表进行联合查询
需要查询的字段：电影id answer6_A.movieid，电影名 answer6_A.moviename，影评分 answer6_A.rate，电影类型 t_movie.movietype ，上映年份 answer6_A.years
B. 从answer7_A按照电影类型中是否包含Comedy和按上映年份作为where过滤条件，按照评分作为排序条件进行查询，将结果保存到answer7_B中
需要查询的字段：电影的ID：answer7_A.id，电影的名称：answer7_A.name，电影的评分answer7_A.rate
3、sql：
A. 需要电影类型，所有可以将第六步中求出answer6_A表和t_movie表进行联合查询
运行情况：
B. 从answer7_A按照电影类型中是否包含Comedy和按照评分>=4.0作为where过滤条件，按照评分作为排序条件进行查询，将结果保存到answer7_B中
运行情况：
8、该影评库中各种类型电影中评价最高的5部电影（类型，电影名，平均影评分）
（1）分析思路：
1、需求字段：电影id movieid，电影名 moviename，影评分 rate（排序条件），电影类型 type（分组条件）
2、核心SQL：
A. 需要电影类型，所有需要将answer7_A中的type字段进行裂变，将结果保存到answer8_A中
需要查询的字段：电影id answer7_A.id，电影名 answer7_A.name（包含年份），上映年份 answer7_A.years，影评分 answer7_A.rate，电影类型 answer7_A.movietype
B. 求TopN，按照type分组，需要添加一列来记录每组的顺序，将结果保存到answer8_B中，row_number() ：用来生成 num字段的值，distribute by movietype ：按照type进行分组，sort by avgrate desc ：每组数据按照rate排降序，num：新列， 值就是每一条记录在每一组中按照排序规则计算出来的排序值
C. 从answer8_B中取出num列序号<=5的
3、sql：
运作情况：
B. 求TopN，按照type分组，需要添加一列来记录每组的顺序，将结果保存到answer8_B中
运行情况：
C. 从answer8_B中取出num列序号<=5的
9、各年评分最高的电影类型（年份，类型，影评分）
（1）分析思路：
1、需求字段：电影id movieid，电影名 moviename，影评分 rate（排序条件），电影类型 type（分组条件），上映年份 years（分组条件）
2、核心SQL：
A. 需要按照电影类型和上映年份进行分组，按照影评分进行排序，将结果保存到answer9_A中
需要查询的字段：上映年份 answer7_A.years，影评分 answer7_A.rate，电影类型 answer7_A.movietype
B. 求TopN，按照years分组，需要添加一列来记录每组的顺序，将结果保存到answer9_B中
C. 按照num=1作为where过滤条件取出结果数据
3、sql：
A. 需要按照电影类型和上映年份进行分组，按照影评分进行排序，将结果保存到answer9_A中
运行情况：
B. 求TopN，按照years分组，需要添加一列来记录每组的顺序，将结
运行情况：
C. 按照num=1作为where过滤条件取出结果数据
10、每个地区最高评分的电影名，把结果存入HDFS（地区，电影名，影评分）
（1）分析思路：
1、需求字段：电影id t_movie.movieid， 电影名 t_movie.moviename，影评分 t_rating.rate（排序条件），地区 t_user.zipcode（分组条件）
2、核心SQL：
A. 需要把三张表进行联合查询，取出电影id、电影名称、影评分、地区，将结果保存到answer10_A表中
需要查询的字段：电影id t_movie.movieid，电影名 t_movie.moviename，影评分 t_rating.rate（排序条件）， 地区 t_user.zipcode（分组条件）
B. 求TopN，按照地区分组，按照平均排序，添加一列num用来记录地区排名，将结果保存到answer10_B表中
C. 按照num=1作为where过滤条件取出结果数据
3、sql：
A. 需要把三张表进行联合查询，取出电影id、电影名称、影评分、地区，将结果保存到answer10_A表中
运行情况：
B. 求TopN，按照地区分组，按照平均排序，添加一列num用来记录地区排名，将结果保存到answer10_B表中
运行情况：
C. 按照num=1作为where过滤条件取出结果数据并保存到HDFS上
至此结束！