C# web scraper 导航到 aspx 链接

Question

我正在构建一个 C# Windows Phone 8.1 应用程序。应用程序的一部分需要去查找特定网页上的信息。我需要的字段之一是可以在页面上的某些项目上找到的 URL，但是我发现 URL 是相对样式的格式

FullArticle.aspx?a=323495

我想知道在 C# 中是否有一种方法可以使用 HtmlAgilityPack、HttpWebRequest 等来找到指向实际页面的链接。代码 sn-p 如下。

private static TileUpdate processSingleNewsItem(HtmlNode newsItemNode)
{
    Debug.WriteLine("");
    var articleImage = getArticleImage(getNode(newsItemNode, "div", "nw-container-panel-articleimage"));
    var articleDate = getArticleDate(getNode(newsItemNode, "div", "nw-container-panel-articledate"));
    var articleSummary = getArticleSummary(getNode(newsItemNode, "div", "nw-container-panel-textarea"));
    var articleUrl = getArticleUrl(getNode(newsItemNode, "div", "nw-container-panel-articleimage"));
    return new TileUpdate{
        Date = articleDate,
        Headline = articleSummary,
        ImagePath = articleImage,
        Url = articleUrl
    };
}

private static string getArticleUrl(HtmlNode parentNode)
{
    var imageNode = parentNode.Descendants("a").FirstOrDefault();
    Debug.WriteLine(imageNode.GetAttributeValue("href", null));
    return imageNode.GetAttributeValue("href", null);
}

private static HtmlNode getNode(HtmlNode parentNode, string nodeType, string className)
{
    var children = parentNode.Elements(nodeType).Where(o => o.Attributes["class"].Value == className);
    return children.First();
}

将不胜感激任何想法或解决方案。干杯！

Answer 1

在我的web crawler 中，这是我所做的：

foreach (HtmlNode link in doc.DocumentNode.SelectNodes(@"//a[@href]"))
{
    HtmlAttribute att = link.Attributes["href"];
    if (att == null) continue;
    string href = att.Value;
    if (href.StartsWith("javascript", StringComparison.InvariantCultureIgnoreCase)) continue;      // ignore javascript on buttons using a tags

    Uri urlNext = new Uri(href, UriKind.RelativeOrAbsolute);

    // Make it absolute if it's relative
    if (!urlNext.IsAbsoluteUri)
    {
        urlNext = new Uri(urlRoot, urlNext);
    }
    ...
}