【问题标题】:Is there a way to scrape data from a website that is not available in the page's source?有没有办法从页面源中不可用的网站抓取数据?
【发布时间】:2018-11-29 21:04:28
【问题描述】:

我必须在我的代码中包含哪些可以为我指明正确方向的内容?

For Example this website

【问题讨论】:

  • 例如什么?
  • 是的,有很多方法。通常你需要控制一个真正的浏览器,例如通过硒。这方面有很多现有的资源。

标签: json xml-parsing jsoup html-parsing


【解决方案1】:

在“网络”选项卡上打开浏览器的调试器,观察站点加载动态内容时(单击时)的请求。您会看到它使用一些 API 获取所有数据,例如:https://www.bestfightodds.com/api?f=ggd&b=3&m=16001&p=2 您可以通过更改此 URL 中的参数来下载所有数据。 通常这就足够了,但在这里它更棘手,因为服务器返回的数据以某种方式编码并且不易读取。您必须先调试它的 javascript 才能找到用于解码此数据的函数,然后才能解析它。

【讨论】:

    猜你喜欢
    • 2021-04-06
    • 1970-01-01
    • 1970-01-01
    • 2012-01-16
    • 2017-12-29
    • 2021-04-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多