从网站获取页面列表[关闭]

Question

如果我提供网站 URL，我希望逻辑从网站获取所有页面 URL，这意味着如果我将提供网站 URL，那么我应该获取集合中包含 URL 的所有页面。我如何使用 C# 来实现它。

Answer 1

虽然这不是一项简单的任务，但您最好从 Html Agility Pack 开始。

它允许您搜索 HTML 标记，即使标记无效。它比手动解析您的响应要好得多。

正如Save 所说，以下答案提供了一个很好的例子：

HtmlWeb hw = new HtmlWeb();
HtmlDocument doc = hw.Load(/* url */);
foreach(HtmlNode link in doc.DocumentElement.SelectNodes("//a[@href]"))
{

}

来源：https://stackoverflow.com/a/2248422/548020

Answer 2

您可以使用WebClient 或WebRequest

WebRequest request = WebRequest.Create("http://www.yahoo.com");
WebResponse response = request.GetResponse();
Stream data = response.GetResponseStream();
string html = String.Empty;
using (StreamReader sr = new StreamReader(data))
{
    html = sr.ReadToEnd();
}