【发布时间】:2016-04-22 03:02:24
【问题描述】:
所以我想抓取 google,我已经使用这种方法成功抓取了 craigslist,但由于某种原因我无法缝合抓取 google(是的,当然我改变了类和东西..)这就是我想要抓取的内容:
我想抓取网站描述:
from selenium import webdriver
path = r"C:\Users\Skid\Desktop\chromedriver.exe"
driver = webdriver.Chrome(path)
driver.get("https://www.google.com/#q=python+webscape+google")
posts = driver.find_elements_by_class_name("r")
for post in posts:
print(post.text)
【问题讨论】:
-
可能 google 将您检测为机器人。尝试转储抓取的网页,可能会知道它为什么不起作用。
-
看意思是尝试转储抓取的网页?我已经抓取了 craigslist 并且它有效,给我一个例子?
-
@KevinGuan 的回答是正确的。只需更正您的网址。而不是
"#q=",它应该是"?q=" -
@Ghost 我的意思是你能转储你需要解析的 html 吗?
-
@bwaaaaaa:在代码中。
标签: python google-chrome python-3.x scrape