【问题标题】:Unsure how to scrape this betting odds website不确定如何抓取这个投注赔率网站
【发布时间】:2020-03-02 17:25:05
【问题描述】:

我是 python 和 scrapy 的新手。我曾希望我可以将两者结合起来抓取一些赌博网站。这是一个例子;

https://www.oddschecker.com/football/scottish/premiership/kilmarnock-v-aberdeen/winner

如果我只是查看该页面的源 html,则主赔率表不在 html 中。这让我非常困惑。尝试过使用scrapy,但它有同样的问题。

在那个页面上什么都看不到表中的数据是怎么回事?什么是简单的方法来刮掉它?

谢谢!

【问题讨论】:

  • 试试这个选择器“#t1”。赔率表包含此 ID。
  • 如果您熟悉它,最好的方法是使用 splash,否则只需使用简单的 selenium

标签: scrapy screen-scraping


【解决方案1】:

看起来最初的响应都是 JavaScript。一般来说,赌博和统计网站不想被抓取,这看起来像是阻止机器人的一种手段。我认为这将深入到池的困难端,使用浏览器进行渲染可能会更好。

【讨论】:

    猜你喜欢
    • 2012-04-04
    • 2022-09-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-12-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多