C#.net 从控制台使用 HTMLDocument？

Question

我正在尝试在控制台应用程序中使用System.Windows.Forms.HTMLDocument。首先，这可能吗？如果是这样，我如何将网页从网络加载到其中？我试图使用WebBrowser，但它告诉我：

未处理的异常： System.Threading.ThreadStateException： ActiveX 控件'885 6f961-340a-11d0-a96b-00c04fd705a2' 无法实例化，因为 当前读取不在 单线程单元。

似乎严重缺乏关于 HTMLDocument 对象的教程（或者 Google 只是发现了无用的结果）。

---

刚刚发现mshtml.HTMLDocument.createDocumentFromUrl，但这让我很震惊

未处理的异常： System.Runtime.InteropServices.COMException (0x80010105): 服务器抛出了一个 例外。 （HRESULT 的例外情况： 0x80010105 (RPC_E_SERVERF AULT)) 在 System.RuntimeType.ForwardCallToInvokeMember（字符串 memberName，BindingFla gs 标志， 对象目标，Int32[] aWrapperTypes， 消息数据和消息数据）在 mshtml.HTMLDocumentClass.createDocumentFromUrl（字符串 bstrUrl，字符串 bstr 选项）在 iget.Program.Main(String[] args)

什么鬼？我想要的只是页面上的<a> 标签列表。为什么这么难？

---

对于那些好奇的人，这是我想出的解决方案，感谢TrueWill：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Net;
using System.IO;
using HtmlAgilityPack;

namespace iget
{
    class Program
    {
        static void Main(string[] args)
        {
            WebClient wc = new WebClient();
            HtmlDocument doc = new HtmlDocument();
            doc.Load(wc.OpenRead("http://google.com"));
            foreach(HtmlNode a in doc.DocumentNode.SelectNodes("//a[@href]"))
            {
                Console.WriteLine(a.Attributes["href"].Value);
            }
        }
    }
}

Answer 1

作为替代方案，您可以使用免费的Html Agility Pack 库。它可以解析 HTML 并让您使用 LINQ 查询它。我在家里的一个项目中使用了旧版本，效果很好。

编辑：您可能还想使用 WebClient 或 WebRequest 类来下载网页。请参阅我在 Web scraping in .NET 上的博客文章。 （请注意，我没有在控制台应用程序中尝试过。）

Answer 2

将 [STAThread] 属性添加到 Main 方法中

    [STAThread]
    static void Main(string[] args)
    {
    }

这应该可以解决它。

Answer 3

如果是 xhtml 将其加载到 XDocument 中并解析出锚标记，或者如果您只需要锚标记，也可以使用 RegEx 来完成。