.NET 链接验证器 API？

Question

是否有人知道任何好的链接验证 API。我不是在寻找任何类型的网络爬虫，只是为了验证整个页面或单个链接。我一直在寻找一个，因为我的地雷有一些我目前无法解决的问题。

几个主要问题是：

• 一些异步 Web 请求永无止境
• 得到很多误报
• 重定向时获取 404

我会发布我的代码以防万一。

第一种方法是开始验证

private void urlCheck( Link strUri )
{
    try
    {
        Uri uri = new Uri( strUri.URL , 
            ( strUri.URL.StartsWith( "/" ) ) ? 
                UriKind.Relative : UriKind.Absolute );

        if( !uri.IsAbsoluteUri )
            uri = new Uri( _page.HttpDomain + uri );

        HttpWebRequest request = (HttpWebRequest)WebRequest.Create( uri );
        request.Method = "GET";
        request.UserAgent = 
            "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.2; Trident/4.0)";
        request.AllowAutoRedirect = true;
        request.AllowWriteStreamBuffering = true;
        request.SendChunked = true;
        request.UnsafeAuthenticatedConnectionSharing = true;
        request.KeepAlive = false;
        request.Referer = "http://www.google.ca/";
        // default : WebRequest.DefaultWebProxy
        request.Proxy = null; 
        request.Timeout = 20000;

        //do not revalidate this
        WebPageCollection.DoNotRevalidateLinks.Add( strUri );
        request.BeginGetResponse( new AsyncCallback( getResponseCallback ) , 
            request );
        _webRequest++;
    }
    catch( Exception ex )
    {
        Console.WriteLine( ex.StackTrace);
    }
}

第二种方法是回调

private void getResponseCallback( IAsyncResult result )
{
    HttpWebRequest request = (HttpWebRequest)result.AsyncState;
    string strUri = request.Address.ToString();

    Link href = new Link( strUri );
    href.URLKind = urlKind;
    href.URLType = UrlType.External;
    href.URLState = UrlState.Valid;

    try
    {
        HttpWebResponse response = (HttpWebResponse)request.GetResponse();

        if( response.StatusCode == HttpStatusCode.Redirect )
        {
             //TODO: Redirects
             href.URLState = UrlState.Redirect;   
        }
    }
    catch( WebException wex )
    {
        href.URLState = UrlState.Broken;
    }

    _page.Links.Add( href );
    _webRequestComplete++;
    request.EndGetResponse( result );
}

两个递增的变量是为了确保两个计数相等，在许多情况下它们不相等，我最终会陷入无限循环。

Answer 1

您设置SendChunked 有什么原因吗？大多数时候，这会给我带来ProtocolViolationException。更改 urlCheck() 方法中的 catch 语句以重新抛出错误以查看它。

更新

很抱歉一直在强调一个观点，但我认为你正在失去这个错误。听起来您是在 ASPX 页面上执行此操作（您提到了 web.config），但您在 catch 中使用了 Console.Write，因此您永远不会看到它。 According to MSDN，ProtocolViolationException 将在以下情况下被抛出：

方法是 GET 或 HEAD，并且 ContentLength 大于零或 SendChunked 为真。