【问题标题】:Using PyQuery to ask a webpage to search result by zip-code使用 PyQuery 要求网页按邮政编码搜索结果
【发布时间】:2013-07-01 19:08:58
【问题描述】:

我是爬数据的新手。

现在我必须使用 Pyquery 通过网站中的邮政编码来抓取美国的学校信息,http://www.greatschools.org/find-schools

每次输入邮政编码时,搜索页面的 URL 都非常复杂。我认为 Pyquery 很难编写这种 url。

例如,当我输入邮政编码 95113 时,结果页面的 url 是 http://www.greatschools.org/search/search.page?lat=37.3326639&lon=-121.89183639999999&state=CA&locationType=postal_code&sortBy=DISTANCE&normalizedAddress=San+Jose%2C+CA+95113&totalResults=1&city=San+Jose&zipCode=95113&locationSearchString=95113&distance=5

我的问题: 如果我想从结果页面爬取数据,如何使用 Pyquery 获取结果页面? 搜索结果的url好像可以通过编程自己编出来,但是创建的时间太长,要搜索的邮编有上千个。

有没有更好的解决方案?

【问题讨论】:

    标签: python web-crawler pyquery


    【解决方案1】:

    你可以使用:

    PyQuery(url='http://')
    

    然后报废:

    for a in doc('a').items():
        PyQuery(url=a.attr.href)
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2010-11-18
      • 2016-09-29
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多