今天项目需要抓取车次信息,开始用jsoup访问制定的url,发现返回的只是静态页面,没有查询的数据。原来网站为了防止别人爬取数据,采用ajax异步加载数据。网上搜到的API接口要收费,后来发现可以页面分析找到数据真正的提交地址。这里以在某网站,查询济南到上海8月13号的火车信息为例说明。在某网站按F12,查询,可以抓取很多信息。点XHR看到很多get和post信息。

利用页面分析获取json数据

从第一个开始找(如果有更好的工具,可以直接找到post数据),点开发现response就是需要的数据,然后查看headers选项,找到提交的网址和值。

利用页面分析获取json数据

利用页面分析获取json数据

将网址和提交的值,用&value=连接就是访问的网址。放到浏览器效果如下,得到一坨很丑的json数据,解析出来即可。

利用页面分析获取json数据



相关文章:

  • 2022-02-07
  • 2021-12-23
  • 2021-08-29
  • 2022-12-23
  • 2021-10-31
  • 2022-12-23
  • 2021-06-04
  • 2022-12-23
猜你喜欢
  • 2021-10-05
  • 2021-12-06
  • 2021-11-25
  • 2021-06-13
  • 2022-12-23
  • 2021-12-04
  • 2022-12-23
相关资源
相似解决方案