Selenium 慢，还是我的代码错误？

Question

所以我尝试使用 Python 登录 Quora，然后抓取一些东西。

我正在使用 Selenium 登录网站。这是我的代码：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get('http://www.quora.com/')

username = driver.find_element_by_name('email')
password = driver.find_element_by_name('password')

username.send_keys('email')
password.send_keys('password')
password.send_keys(Keys.RETURN)

driver.close()

现在的问题：

1. 查找并填写登录表单花了大约 4 分钟，这非常缓慢。我可以做些什么来加快这个过程吗？

2. 登录后，如何确保没有错误？也就是说，如何查看响应码？

3. 如何使用 selenium 保存 cookie，以便登录后可以继续抓取？

4. 如果没有办法让 selenium 更快，还有其他登录方式吗？ （Quora 没有 API）

Answer 1

我在使用 ChromeDriver 的 Python selenium 中调用非常慢的 find_elements_xxx 时遇到了类似的问题。我最终找到了我在 find_element_xxx() 调用之前进行的 driver.implicitly_wait() 调用的问题；当我把它拿出来时，我的 find_element_xxx() 调用运行得很快。

现在，我知道当我调用 find_elements_xxx() 时，这些元素就在那里。所以我无法想象为什么implicit_wait 会影响这些操作的速度，但确实如此。

Answer 2

1. 我去过那里，硒很慢。填写表格可能不会像 4 分钟那么慢。然后我开始使用 phantomjs，它比 firefox 快得多，因为它是无头的。安装最新的 phantomjs 后，您可以简单地将 Firefox() 替换为 webdriver 行中的 PhantomJS()。

2. 要检查您是否已登录，您可以断言登录后显示的某些元素。

3. 只要您不退出驱动程序，cookie 就可用于跟踪链接

4. 您可以尝试使用 urllib 并直接发布到登录链接。您可以使用 cookiejar 来保存 cookie。你甚至可以简单地保存cookie，毕竟cookie只是http头中的一个字符串

Answer 3

您可以使用自己的 setAttribute 方法来加快表单填写，这里是 java 的代码

public void setAttribute(By locator, String attribute, String value) {
    ((JavascriptExecutor) getDriver()).executeScript("arguments[0].setAttribute('" + attribute
            + "',arguments[1]);",
            getElement(locator),
            value);
}

Answer 4

无头运行 Web 驱动程序应该会在一定程度上提高其执行速度。

from selenium.webdriver import Firefox
from selenium.webdriver.firefox.options import Options

options = Options()
options.add_argument('-headless')
browser = webdriver.Firefox(firefox_options=options)

browser.get('https://google.com/')
browser.close()

Answer 5

对于带有 Python Selenium 的 Windows 7 和 IEDRIVER，结束 Windows 命令行并重新启动它可以解决我的问题。

我遇到了 find_element..clicks 问题。他们花了30秒加上一点点。这是我的代码类型，包括捕获运行多长时间。

timeStamp = time.time()
elem = driver.find_element_by_css_selector(clickDown).click()
print("1 took:",time.time() - timeStamp)

timeStamp = time.time()
elem = driver.find_element_by_id("cSelect32").click()
print("2 took:",time.time() - timeStamp)

每次点击记录大约 31 秒。结束命令行并重新启动它（这确实结束了任何 IEDRIVERSERVER.exe 进程）后，每次单击为 1 秒。

Answer 6

我已经更换了定位器，而且效果很快。此外，我还添加了使用 cookie。检查下面的代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.keys import Keys
import pickle


driver = webdriver.Firefox()
driver.get('http://www.quora.com/')
wait = WebDriverWait(driver, 5)
username = wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="login"]//input[@name="email"]')))
password = wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="login"]//input[@name="password"]')))

username.send_keys('email')
password.send_keys('password')
password.send_keys(Keys.RETURN)

wait.until(EC.presence_of_element_located((By.XPATH, '//span[text()="Add Question"]'))) # checking that user logged in
pickle.dump( driver.get_cookies() , open("cookies.pkl","wb")) # saving cookies
driver.close()

我们已保存 cookie，现在我们将在新浏览器中应用它们：

driver = webdriver.Firefox()
driver.get('http://www.quora.com/')
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
    driver.add_cookie(cookie)
driver.get('http://www.quora.com/')

希望，这会有所帮助。