【发布时间】:2017-09-06 04:36:01
【问题描述】:
我目前正在使用 Selenium Webdriver,它运行良好,但不是我想要的。我不喜欢 Selenium Webdriver 的一点是它运行一个真正的浏览器会话(我知道有一些方法可以在后台运行它)。有没有其他使用 xpath 的网页抓取库?
【问题讨论】:
标签: python xpath web-scraping
我目前正在使用 Selenium Webdriver,它运行良好,但不是我想要的。我不喜欢 Selenium Webdriver 的一点是它运行一个真正的浏览器会话(我知道有一些方法可以在后台运行它)。有没有其他使用 xpath 的网页抓取库?
【问题讨论】:
标签: python xpath web-scraping
最好的框架是 Scrapy。它有很多好东西,比如中间件、管道、蜘蛛。您可以单独使用它,也可以与 Selenium、请求、代理等其他库一起使用... 如果你想使用 Selenium - PyVirtualDisplay 将帮助你隐藏浏览器窗口
【讨论】: