HtmlAgilityPack 在 c# 中没有获取 xpath

Question

之前，我用这个代码，它可以得到网站的xpath。但是，今天我调试代码，我看到，它没有从网站：webtruyen.com 获取数据 html。我尝试检查 website.com/robots.txt。但它不怀疑。我尝试添加代理来获取数据，但返回数据为空。我不知道如何从网站 webtruyen.com 获取 xpath。谁帮我？我想知道如何从网站http://webtruyen.com 读取数据。

我的代码：

string url = "http://webtruyen.com";
var web = new HtmlWeb();
var doc = web.Load(url);
String temps = "";
foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//a"))
{
     temps  = node.InnerHtml;
}

我调试，返回：

• InnerHtml 'doc.DocumentNode.InnerHtml' 引发了类型为“System.NullReferenceException”的异常字符串 {System.NullReferenceException}

我的代码使用代理：

string url = "http://webtruyen.com";
var web = new HtmlWeb();
webGet.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) Speedy Spider (http://www.entireweb.com/about/search_tech/speedy_spider/)";
var doc = web.Load(url);
String temps = "";
foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//a"))
{
     temps  = node.InnerHtml;
}

Answer 1

我在使用 HtmlWeb.Load() 时遇到了同样的错误，但我可以使用 HttpWebRequest 轻松解决您的问题（TLDR：有关工作代码，请参见 #3）。

步骤 1) 使用以下代码：

HttpWebRequest hwr = (HttpWebRequest)WebRequest.Create("http://webtruyen.com");
            using (Stream s = hwr.GetResponse().GetResponseStream())
            { }

您看到您实际上收到了 403 Forbidden 错误 (WebException)。

第 2 步）

        HttpWebRequest hwr = (HttpWebRequest)WebRequest.Create("http://webtruyen.com");
        HtmlDocument doc = new HtmlDocument();
        try
        {
            using (Stream s = hwr.GetResponse().GetResponseStream())
            { }
        }
        catch (WebException wx)
        {
            doc.LoadHtml(new StreamReader(wx.Response.GetResponseStream()).ReadToEnd());
        }

在 doc.DocumentNode.OuterHtml 上，您会看到禁止错误的 HTML，其中 JavaScript 会在您的浏览器上设置 cookie 并刷新它。

3) 因此，为了在手动浏览器之外加载页面，您必须手动设置该 cookie 并重新访问它。意思是：

        string cookie = string.Empty;
        HttpWebRequest hwr = (HttpWebRequest)WebRequest.Create("http://webtruyen.com");
        try
        {
            using (Stream s = hwr.GetResponse().GetResponseStream())
            { }
        }
        catch (WebException wx)
        {
            cookie = Regex.Match(new StreamReader(wx.Response.GetResponseStream()).ReadToEnd(), "document.cookie = '(.*?)';").Groups[1].Value;
        }
        hwr = (HttpWebRequest)WebRequest.Create("http://webtruyen.com");
        hwr.Headers.Add("Cookie", cookie);
        HtmlDocument doc = new HtmlDocument();
        using (Stream s = hwr.GetResponse().GetResponseStream())
        using (StreamReader sr = new StreamReader(s))
        {
            doc.LoadHtml(sr.ReadToEnd());
        }

你得到了页面:)

故事的寓意，如果您的浏览器可以做到，那么您也可以。