如何使用C#从网页中提取数据

Question

我正在尝试从此 HTML 标记中提取文本

<span id="example1">sometext</span>

我有这个代码：

using System;
using System.Net;
using HtmlAgilityPack;

namespace GC_data_console
{
    class Program
    {
        public static void Main(string[] args)
        {           
            using (var client = new WebClient())
            {
                // Download the HTML
                string html =
                    client.DownloadString("https://www.requestedwebsite.com");
                HtmlDocument doc = new HtmlDocument();
                doc.LoadHtml(html);
                foreach(HtmlNode link in
                        doc.DocumentNode.SelectNodes("//span"))
                {
                    HtmlAttribute href = link.Attributes["id='example1'"];
                    if (href != null)
                    {
                        Console.WriteLine(href.Value.ToString());
                        Console.ReadLine();
                    }
                }
            }
        }
    }
}

但我仍然没有收到 sometext 的文字。 但如果我插入：

HtmlAttribute href = link.Attributes["id"];

我会得到所有的 ID 名称。我做错了什么？

Answer 1

您需要先了解 HTML Node 和 HTMLAttribute 之间的区别。您的代码远不能解决问题。

HTMLNode 表示 HTML 中使用的标签，例如 span,div,p,a 等等。 HTMLAttribute 表示用于 HTMLNode 的属性，例如href 属性用于a，style、class、id、name 等属性几乎用于所有 HTML 标签。

在 HTML 下面

<span id="firstName" style="color:#232323">Some Firstname</span>

span 是 HTMLNode 而id 和 style 是 HTMLAttributes。并且您可以使用 HtmlNode.InnerText 属性获取值Some FirstName。

从 HtmlDocument 中选择 HTMLNodes 也不是那么简单。您需要提供适当的 XPath 来选择所需的节点。

现在在您的代码中，如果您想获取用<span id="ctl00_ContentBody_CacheName">SliverCup Studios East</span> 编写的文本，它是someurl.com 的HTML 的一部分，您需要编写以下代码。

using (var client = new WebClient())
{
    string html = client.DownloadString("https://www.someurl.com");

    HtmlDocument doc = new HtmlDocument();
    doc.LoadHtml(html);

   //Selecting all the nodes with tagname `span` having "id=ctl00_ContentBody_CacheName".
    var nodes = doc.DocumentNode.SelectNodes("//span")
        .Where(d => d.Attributes.Contains("id"))
        .Where(d => d.Attributes["id"].Value == "ctl00_ContentBody_CacheName");

    foreach (HtmlNode node in nodes)
    {
        Console.WriteLine(node.InnerText);
    }
}

上面的代码将选择所有位于 HTML 文档节点下的 span 标签。位于层次结构深处的标记需要使用不同的 XPath。

这应该可以帮助您解决问题。