【问题标题】:Webscrape Google Movies with Goutte/Guzzle: "region" issue使用 Goutte/Guzzle 抓取 Google 电影:“区域”问题
【发布时间】:2015-11-14 02:38:57
【问题描述】:

我使用Goutte 创建了一个简单的网络爬虫,以获取某些应用程序的一些电影放映时间。我使用这个 URL 之王,例如:http://www.google.fr/movies?view=list&date=3&tid=4f451a87a71bfa51

代码在我的生产服务器上不起作用,我终于注意到 Google 电影不会根据请求者的位置显示结果。剧院在法国,它显然是在这个国家工作的,据我所知,它也在德国工作,但不是来自荷兰,这是我的制作服务器位置。

有人遇到过这样的问题吗?我想我可以用代理解决这个问题,但它似乎有点复杂(我是否必须为此在法国建立一个新服务器?);也许有办法调整向 Google 电影发出的 HTTP 请求?

提前致谢。

【问题讨论】:

    标签: php web-scraping region guzzle goutte


    【解决方案1】:

    好吧,我找到了。诀窍是在查询字符串中添加一个带有国家或地区名称的“near”参数。似乎“tid”不足以识别剧院。

    希望这会对某人有所帮助。

    【讨论】:

    • 我也陷入了类似的境地。能否请您详细解释一下您的方法?
    • 嗯,这是一个旧的,因为谷歌电影消失了,但我认为诀窍只是在查询字符串中添加一个?near=france(在我的例子中),给一个“从位置" 线索 — 因为服务通常会为此使用浏览器/IP 位置。
    • 实际上,我正在建立一个价格比较网站,该网站从不同网站抓取数据并将它们显示在同一页面上。我面临的唯一问题是运费差异,因为服务器托管在保加利亚,结果根据保加利亚。
    • 但是,我想根据用户的位置显示运费。这是我正在开发的网站:hardwareguru.net
    猜你喜欢
    • 2020-10-26
    • 2015-05-18
    • 1970-01-01
    • 2014-03-25
    • 2014-09-22
    • 1970-01-01
    • 2020-02-04
    • 2018-10-17
    • 2018-10-23
    相关资源
    最近更新 更多