【问题标题】:Python web scraping of a geolocated website地理定位网站的 Python 网页抓取
【发布时间】:2018-10-16 13:51:53
【问题描述】:

我正在尝试抓取一个网站,该网站要求用户分享他们的位置,以便根据客户所在的国家/地区调整内容。

为此,当我使用 Firefox 访问该站点时,会显示一个浏览器的弹出窗口,询问该权限。

使用 Python 抓取时,我使用 urllib 打开网站。有什么方法可以发布或发送我的坐标,以便获得正确的地理位置网站?

谢谢。

BR,

d.

【问题讨论】:

    标签: python web-scraping geolocation urllib


    【解决方案1】:

    通过浏览网站手动汇总您的数据。然后在浏览器的开发人员工具中检查您的发布请求。将该信息存储在字典中,如下所示,使用data

    data = { "text": text }

    然后使用它来发出发布请求。 req=urllib2.Request(url,urllib.urlencode(data), headers)

    然后得到你的回应。

    response = urllib2.urlopen(req).read()

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-03-09
      • 1970-01-01
      • 2021-02-04
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多