1、获取数据源

以智联招聘官网为例

从智联官网首页中通过查看源码获取其数据源,通过okhttp获得数据源。

(kHttp是一个优秀的网络请求框架)

java网络爬虫(json+mysql+okhttp3+连接池)的数据挖掘

2、将网络数据源转换为本地数据

通过json将网络数据转化为本地的数据

(json是一种轻量级的数据交换格式)

java网络爬虫(json+mysql+okhttp3+连接池)的数据挖掘

3、建立数据库

通过MySQL建立数据库,然后再数据库中建立相关表格,用以存放挖掘的数据。。

java网络爬虫(json+mysql+okhttp3+连接池)的数据挖掘
4、将数据存入数据库

通过连接池连接数据库,再通过相关sql语句将挖掘到的数据存入到数据库中。

okhttp连接有两种方式,一个是同步一个是异步。这里用到的是同步。

本次数据挖掘用到了C3p0数据库连接池,连接池减少了连接创建时间,加快了数据存入数据库的效率。

java网络爬虫(json+mysql+okhttp3+连接池)的数据挖掘

使用批处理向数据库添加:

java网络爬虫(json+mysql+okhttp3+连接池)的数据挖掘

c3po连接池的配置:

java网络爬虫(json+mysql+okhttp3+连接池)的数据挖掘

 最终采集数据的效果:

java网络爬虫(json+mysql+okhttp3+连接池)的数据挖掘

源码:

链接:https://pan.baidu.com/s/1BRdK1KeB3ZU-h3mIs1wrng 密码:pt97


 

 

相关文章:

  • 2021-08-06
  • 2021-11-21
  • 2021-08-23
  • 2021-07-28
  • 2022-12-23
  • 2021-05-15
  • 2021-09-21
  • 2021-11-08
猜你喜欢
  • 2021-09-18
  • 2022-01-20
  • 2021-10-31
  • 2021-05-05
  • 2021-11-11
  • 2021-12-13
  • 2021-10-04
相关资源
相似解决方案