如何使用 C# 解析受 Cloudflare 保护的网站？

Question

我正在尝试解析/抓取受 Cloudflare 保护的网站。当我使用浏览器并转到该页面时，它会进行一些重定向，然后返回该页面。没有典型的“在访问之前检查您的浏览器...”，只是一些重定向。在任何浏览器中都能正常工作。

但是，当我尝试在 C# 中抓取页面时，无法使用 HttpWebRequest、WebClient 或 WebBrowser 获取页面。响应总是被禁止的。所有标题都设置为在任何浏览器中。

到目前为止，我只设法让它与 Selenium Chrome 驱动程序一起工作，但由于某些限制，我想避免它。有什么建议吗？

Answer 1

无头浏览器（如 Selenium）可能无法通过 Cloudflare 的检查。