urllib.urlopen 无法打开带有页面 ID 的 url答案

【问题标题】：urllib.urlopen not able to open url with page idurllib.urlopen 无法打开带有页面 ID 的 url
【发布时间】：2017-11-06 05:38:15
【问题描述】：

似乎 urlopen 忽略了 ? 之后的所有内容。为 URL https://apm.activecommunities.com/danvilleca/Activity_Search?Page=11 和 https://apm.activecommunities.com/danvilleca/Activity_Search?Page=1 返回相同的对象。试图逃避问号，但无济于事。如果有人能分享见解，不胜感激

urllib.urlopen('https://apm.activecommunities.com/danvilleca/Activity_Search?Page=11').read()
urllib.urlopen('https://apm.activecommunities.com/danvilleca/Activity_Search?Page=1').read()

【问题讨论】：

看起来您使用的是 Python 2。您确实应该提及这一点，最好带有标签。在 Python 2.6.6 中使用 urllib.urlopen，该 URL 对我来说没问题
对我来说很好。似乎您根本没有将结果存储在任何地方，即您应该执行类似x = urllib.urlopen(...) 的操作。

标签： python urllib urlopen

【解决方案1】：

你可以尝试跟随 sn-p 并检查它是否有效。

url = 'https://apm.activecommunities.com/danvilleca/Activity_Search?Page=11'
response = urllib.Request(url)
info = urllib.urlopen(req).read()

【讨论】：

我想我找到了问题所在。第一次去“apm.activecommunities.com/danvilleca/Activity_Search?Page=11”默认为“apm.activecommunities.com/danvilleca/Activity_Search”。这是有问题的，因为爬虫将无法爬取默认页面之外的任何页面。我的方法是按页面ID循环。任何建议如何使它工作？
code sn-p: for i in range(1, 10): page = "apm.activecommunities.com/danvilleca/Activity_Search?Page=%d" % i r = urllib.urlopen(page).read() soup = BeautifulSoup(r, " lxml")