如何使用Chrome和pywinauto打开和保存大量网页？

Question

我有数以万计的网址，我想将它们的网页保存到我的计算机上。

我正在尝试使用 pywinauto 自动使用的 Chrome 打开和保存这些网页。 我可以使用以下代码打开网页：

from pywinauto.application import Application
import pyautogui

chrome_dir = 'C:\Program Files\Google\Chrome\Application\chrome.exe'

start_args = ' --force-renderer-accessibility --start-maximized https://pythonexamples.org/'
             app = Application(backend="uia").start(chrome_dir+start_args)

我想进一步向网页发送快捷方式以将其保存为 mhtml。 Ctrl+Shift+Y 是将网页保存为 mhmtl 的 Chrome 扩展程序（称为 SingleFile）的快捷方式。然后我想通过键入“Ctrl + F4”关闭选项卡，然后再打开另一个选项卡并重复相同的过程。

密钥未成功发送到 Chrome。

# Sent shortcut (Ctrl+Shift+Y)
pyautogui.press(['ctrl', 'shift', 'y'])

# Close the current tab:
pyautogui.press(['ctrl', 'f4'])

我被困在这一步。这样做的正确方法是什么？谢谢！ 尝试了 Selenium 等其他替代方案，但被远程服务器阻止。

Answer 1

您为什么使用 Chrome 来获取网站数据？通常，直接使用外部应用程序（即模拟用户）是一种可怕且低效的方式来做任何事情。如果您的目标是快速获取和存储来自网站的数据，您应该直接与网站对话，使用类似requests 的模块，它可以让您快速轻松地发送 HTTP 请求并获取所有网站数据.要获取 MHTML 数据，您可以尝试类似this。