如何获取 HTTP Web 请求以返回完整源

Question

我正在尝试检索网页的源代码，并且我正在使用 HTTPWebRequest，但只返回了这个：

<script type="text/javascript"> 
    window.location="index.php"; 
</script> 

我使用 fiddler 来比较 chrome 获取网页并将其与我的代码检索到的内容进行比较。

左侧是Chrome，右侧是VS代码

http://i.stack.imgur.com/Hgk9w.png

我注意到的是，内容长度没有 chrome 返回的那么大。我的代码内容长度通常在 70 字节左右，而 chrome 通常会返回 87000 字节。

我尝试过使用流和内存流。有人可以指出我正确的方向吗？

下面是我的函数：

public string GetAllCampaings()
{
    string campaigns = null;
    byte[] result;
    byte[] buffer = new byte[4096];

    HttpWebRequest httpWebRequest2 = (HttpWebRequest)WebRequest.Create("http://magiclampmarketing.com/sms/manage_groups.php");
    httpWebRequest2.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
    httpWebRequest2.Method = "GET";
    httpWebRequest2.CookieContainer = cookieContainer;
    httpWebRequest2.KeepAlive = true;
    httpWebRequest2.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11";
    httpWebRequest2.Referer = "http://magiclampmarketing.com/sms/main.php";
    httpWebRequest2.SendChunked = false;

    WebHeaderCollection myWebHeaderCollection = httpWebRequest2.Headers;
    myWebHeaderCollection.Add("Accept-Language", "en;q=0.8");
    myWebHeaderCollection.Add("Accept-Charset", "ISO-8859-1,utf-8;q=0.7,*;q=0.3");
    myWebHeaderCollection.Add("Accept-Encoding", "gzip,deflate,sdch");

    var sp = httpWebRequest2.ServicePoint;
    var prop = sp.GetType().GetProperty("HttpBehaviour", BindingFlags.Instance | BindingFlags.NonPublic);
    prop.SetValue(sp, (byte)0, null);

    using (WebResponse response = httpWebRequest2.GetResponse())
    {
        using (Stream responseStream = response.GetResponseStream())
        {
            using (MemoryStream memoryStream = new MemoryStream())
            {
                int count = 0;
                do
                {
                    count = responseStream.Read(buffer, 0, count);
                    memoryStream.Write(buffer, 0, count);

                } while (count != 0);

                result = memoryStream.ToArray();
            }
        }
    }

    return campaigns; 
}

Answer 1

看起来您正在使用的 chrome 浏览器已经登录到该站点并具有会话 cookie。 但是，您的代码并未突出显示您是如何传递会话 cookie 的。

从所看到的情况来看，您的程序的请求似乎正在返回一个响应，将您重定向到登录页面。

您要么必须阐明您对传递会话 cookie 的看法。或者接受你的程序正在做它应该做的事情。