【发布时间】:2017-05-19 06:24:59
【问题描述】:
我为多页编写了一个爬虫。当页面增加时它可以工作,例如:1、2、3、4等。但是,当它按顺序增加时会出现问题:0、120、240、360等。我被困在这一点上。希望有人在那里为我提供解决方法。我的代码要做的是:
from selenium import webdriver
driver=webdriver.PhantomJS()
for page in range(120):
driver.get("https://vancouver.craigslist.ca/search/eld?s={0}".format(page))
for title in driver.find_elements_by_class_name("hdrlnk"):
print (title.text)
driver.quit()
【问题讨论】:
标签: python python-3.x selenium-webdriver web-scraping