Puppeteer：接受带有 cookie 横幅的多个网站中的所有 cookie答案

【问题标题】：Puppeteer: Αccept all cookies in multiple websites with cookie bannerPuppeteer：接受带有 cookie 横幅的多个网站中的所有 cookie
【发布时间】：2020-09-30 16:53:59
【问题描述】：

我使用 Node.js 和 Puppeteer 创建了一个脚本，用于加载多个站点，例如（站点 A、B、C 等）。我想找到该站点使用的所有 cookie。问题是，某些站点有一个 Cookie 横幅可以接受或拒绝。如果您接受横幅，网站会添加一些额外的 cookie。

所以要捕获所有这些 cookie，是否有一个通用的解决方案来接受所有不同的横幅或在初始请求的标头上设置一些初始参数以通知网站我接受所有这些 cookie？

这是一个网站示例，其 Cookie Bannner 初始设置了 6 个 cookie，如果您接受该横幅，则 cookie 总数为 48。

https://siteimprove.com/en/gdpr/who-gdpr-affects-and-whose-data-is-protected/

我需要一个通用的解决方案。因为我有一个网站列表。

【问题讨论】：

标签： javascript node.js web-scraping cookies puppeteer

【解决方案1】：

您可以使用 cookie 横幅的标识符：https://www.fanboy.co.nz/fanboy-cookiemonster.txt

【讨论】：

您能提供更多信息吗？这个txt呢？

【解决方案2】：

很遗憾，没有标准的方法可以做到这一点。因为“cookie 横幅”没有标准。如果您的网站列表不是很大，最好的办法是弄清楚每个网站的 cookie 是什么，系统地存储它们，并根据所导航的域使用适当的 cookie。

更新：请参阅此处的 puppeteer 文档，了解如何将 cookie 添加到您的请求中：https://pptr.dev/#?product=Puppeteer&version=v5.4.0&show=api-pagecookiesurls

【讨论】：

如何存储cookies以及在哪里？可以举个例子吗？
好的。因此，通过这种方式，我可以获取 url 的 cookie，然后我可以存储这些 cookie 吗？你在想什么？