作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

Hadoop综合大作业 要求:

1.对CSV文件进行预处理生成无标题文本文件,将爬虫大作业产生的csv文件上传到HDFS

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

2.把hdfs中的文本文件最终导入到数据仓库Hive中

Hadoop综合大作业
    





            
Hadoop综合大作业

其次,把hdfs中的文本文件最终导入到数据仓库Hive中,并在Hive中查看并分析数据,具体步骤如下:

① create database db;  

② use db;

③ create external table lag_p(city string,comment string,id int,startevaluation float,time string) row format delimited fields terminated by ',' stored as textfile location '/bigdatacase/dataset/';  

④ select * from lag_p limit 10; 

Hadoop综合大作业
    





            
Hadoop综合大作业

 

3.Hive中查看并分析数据

Hadoop综合大作业
    





            
Hadoop综合大作业

 

4.用Hive对爬虫大作业产生的数据进行分析(10条以上的查询分析)

(1)计算出表内一共有几条评论数据

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(2)查询前十条信息的所属城市

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(3)查询前二十条信息的用户名

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(4)查询不重复昵称的评论数

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(5)查询城市中评分为5分的数量最多的前20名

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(6)查看评论里各评分的评论数

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(7)查询评论数前10名的城市

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(8)查询北京的评分

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(9)查询不重复id的评论数

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(10)查询城市中评低于3分的前20名

 Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

 

作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

Hadoop综合大作业 要求:

1.对CSV文件进行预处理生成无标题文本文件,将爬虫大作业产生的csv文件上传到HDFS

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

2.把hdfs中的文本文件最终导入到数据仓库Hive中

Hadoop综合大作业
    





            
Hadoop综合大作业

其次,把hdfs中的文本文件最终导入到数据仓库Hive中,并在Hive中查看并分析数据,具体步骤如下:

① create database db;  

② use db;

③ create external table lag_p(city string,comment string,id int,startevaluation float,time string) row format delimited fields terminated by ',' stored as textfile location '/bigdatacase/dataset/';  

④ select * from lag_p limit 10; 

Hadoop综合大作业
    





            
Hadoop综合大作业

 

3.Hive中查看并分析数据

Hadoop综合大作业
    





            
Hadoop综合大作业

 

4.用Hive对爬虫大作业产生的数据进行分析(10条以上的查询分析)

(1)计算出表内一共有几条评论数据

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(2)查询前十条信息的所属城市

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(3)查询前二十条信息的用户名

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(4)查询不重复昵称的评论数

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(5)查询城市中评分为5分的数量最多的前20名

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(6)查看评论里各评分的评论数

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(7)查询评论数前10名的城市

Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(8)查询北京的评分

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(9)查询不重复id的评论数

Hadoop综合大作业
    





            
Hadoop综合大作业

 

(10)查询城市中评低于3分的前20名

 Hadoop综合大作业
    





            
Hadoop综合大作业

Hadoop综合大作业
    





            
Hadoop综合大作业

 

 

相关文章:

  • 2021-07-10
猜你喜欢
  • 2021-12-04
  • 2021-11-20
相关资源
相似解决方案