是否有类似于 Python 的 puppetetteer 的隐形无头浏览器自动化工具？

Question

我知道 Pyppeteer 库和 Pyppeteer Stealth，但它们的问题是我试图从中抓取信息的网站检测到 Pyppeteer Stealth（Puppeteer 的 Python 移植）并阻止它。 node JS 上使用的原始 Puppetetteer Stealth 在该网站上运行良好，但是，我更愿意在 Python 上创建这个爬虫，因为我更熟悉它。

还有哪些其他隐蔽且最新的无头浏览器自动化工具可用？

我只需要获取 HTML 内容并通过 Beautiful Soup 解析它。不幸的是，requests 和 requests-html 库也不能在这个网站上运行。

Answer 1

如果你不太关心软件的自动化部分，我建议你研究一下 Scrapy（如果你需要渲染 js，我建议你研究一下 Scrapy Splash，这就是为什么我假设你首先想使用 Pyppeteer ) 结合使用一些基本策略来避免被视为机器人，例如用户代理轮换和代理轮换。

这也是我目前用来为similarweb.com 制作刮板的策略。