【发布时间】:2011-12-17 02:28:58
【问题描述】:
我有一个独特的问题,我需要为每 5 分钟播放的每场比赛提取特定属性,我遇到的两个主要问题是:
- 从交互式显示的网站(例如 MLB.com、ESPN、CBS 体育)中提取数据。
- 寻找可能会以文本格式显示实时更新的盒子分数的来源。
我在 Google 上进行了大量搜索,并研究了从 MLB 和 CBS Sports 中抓取数据的可能解决方案。我没有这样的运气,现在有点困难,因为我没有任何新数据可玩,但是我一直在寻找可能的解决方案,但没有找到任何解决方案。
据我所知,没有我可以查询的包含实时更新分数的开放数据库,否则我可以捎带它或获得类似的系统。
【问题讨论】:
-
如果有存储该数据的服务,我相信他们会为此收取 $$$。至于抓取网站,至少我知道,并没有真正通用的方法,它可以点击一个 url 并知道要提取哪些数据。您需要下载 html 并使用正则表达式或其他方法来查找数据。此外,即使网站发生轻微变化,您也必须进行修复和重建。
-
如果服务提供了我需要的数据,我愿意为这个项目付费。我会研究正则表达式,但网站总是在重建,所以这可能会破坏它。有了这个项目,我需要一个可靠的解决方案。
-
Wolfram appears to have ancient data 但这听起来很适合他们的商业模式。给他们打电话,看看要花多少钱。
-
我什至没有考虑 Wolfram,我不知道他们接受了请求。
-
@MikeGags 这可能会有所帮助。 stackoverflow.com/questions/643753/… 另外,如果您确实找到了付费服务,我认为他们会给您 API 访问权限,因此无需抓取。
标签: php mysql screen-scraping