Python selenium - 如何使用 selenium 打开我们用于手动浏览的常规 chrome答案

【问题标题】：Python selenium - How to open regular chrome which we use for manual browsing using seleniumPython selenium - 如何使用 selenium 打开我们用于手动浏览的常规 chrome
【发布时间】：2022-01-14 08:28:51
【问题描述】：

我正在自动从网站https://www.macquarieinsights.com/ 抓取数据。现在该网站只需要第一次登录。之后，如果您打开该网站，它已经登录。但是，当我使用 selenium 访问该网站时，每次我通过 selenium 访问它时都会要求登录。如何使用 selenium 使用已登录的常规 chrome 浏览器？还是有其他选择？

【问题讨论】：

标签： python selenium web-scraping selenium-chromedriver

【解决方案1】：

尝试保存网站在您登录时制作的 cookie ?。然后在启动时将这些 cookie 提供给 selenium...

点赞：

手动登录浏览器。
使用请求获取带有之前 cookie 的网页

import requests
import browser_cookie3
cookies = browser_cookie3.chrome()
response = requests.get(url, cookies=cookies)

别忘了使用pip3 install browser-cookie3安装模块

【讨论】：

【解决方案2】：

您可以登录该网站以将 cookie 保存在您的本地浏览器配置文件中，然后您可以使用该浏览器配置文件。
现有浏览器配置文件设置可以从您的 PC 存储中加载，如下所示：

from selenium import webdriver

options = webdriver.ChromeOptions() 
options.add_argument("user-data-dir=C:\\Path") #Path to your chrome profile
driver = webdriver.Chrome(executable_path="C:\\Users\\chromedriver.exe",chrome_options=options)

【讨论】：

我使用 chrome://version/ 获取配置文件路径。我将其添加为论点。还是不行