C# WebClient 从站点获取 html 时收到 403

Question

我正在尝试从站点下载 HTML 并对其进行解析。我实际上只对 head 部分的 OpenGraph 数据感兴趣。对于大多数使用 WebClient 的站点，HttpClient 或 HtmlAgilityPack 都有效，但有些域我得到 403，例如：westelm.com

我尝试将标题设置为与我使用浏览器时完全相同，但我仍然得到 403。这是一些代码：

string url = "https://www.westelm.com/m/products/brushed-herringbone-throw-t5792/?";

var doc = new HtmlDocument();

using(WebClient client = new WebClient()) {
  client.Headers["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36";
  client.Headers["Accept"] = "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9";
  client.Headers["Accept-Encoding"] = "gzip, deflate, br";
  client.Headers["Accept-Language"] = "en-US,en;q=0.9";
  doc.Load(client.OpenRead(url));
}

此时，我收到了 403。

是我遗漏了什么还是网站管理员正在保护网站免受 API 请求的影响？

我怎样才能做到这一点？有没有更好的方法从网站获取 OpenGraph 数据？

谢谢。

Answer 1

我用你的问题解决了同样的问题。 IDK 如果你已经解决了这个问题，但我告诉你它是如何为我工作的

出于同样的原因，一个页面给了我 403。问题是：您需要从代码中模拟“网络浏览器”，发送大量标头。

我使用了你的一个我没有使用的标题（比如 Accept-Language）

我没有使用WebClient，我使用HttpClient解析网页

private static async Task<string> GetHtmlResponseAsync(HttpClient httpClient, string url)
    {
        using var request = new HttpRequestMessage(HttpMethod.Get, new Uri(url));
        request.Headers.TryAddWithoutValidation("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9");
        request.Headers.TryAddWithoutValidation("Accept-Encoding", "gzip, deflate, br");
        request.Headers.TryAddWithoutValidation("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36");
        request.Headers.TryAddWithoutValidation("Accept-Charset", "UTF-8");
        request.Headers.TryAddWithoutValidation("Accept-Language", "en-US,en;q=0.9");

        using var response = await httpClient.SendAsync(request).ConfigureAwait(false);

        if (response == null)
            return string.Empty;

        using var responseStream = await response.Content.ReadAsStreamAsync().ConfigureAwait(false);
        using var decompressedStream = new GZipStream(responseStream, CompressionMode.Decompress);
        using var streamReader = new StreamReader(decompressedStream);
        return await streamReader.ReadToEndAsync().ConfigureAwait(false);
    }

如果对你有帮助，我很高兴。如果没有，我将把这个答案留在这里以帮助其他人！