使用 HttpWebRequest 类上传和下载时以百分比显示进度答案

【问题标题】：Showing progress in percentage while uploading and downloading using HttpWebRequest class使用 HttpWebRequest 类上传和下载时以百分比显示进度
【发布时间】：2013-12-22 06:16:11
【问题描述】：

我正在尝试使用C# 中的HttpWebRequest 上传和下载（在同一请求中）到服务器，并且由于数据量很大（考虑到网络速度）我想向用户展示多远完成了多少工作，还剩下多少（不是以秒为单位，而是以百分比为单位）。

我已经阅读了几个尝试实现此功能的示例，但没有一个显示任何进度条。他们都只是使用async 在上传/下载时不阻止用户界面。而且他们主要专注于上传/下载，没有人尝试将它们都包含在同一个请求中。

由于我使用 .Net 4 作为我的目标框架，我自己无法实现 async 方法。如果您要建议任何异步操作，请使用 Begin... 方法而不是 await 关键字！谢谢。

【问题讨论】：

标签： c# httpwebrequest progress

【解决方案1】：

你需要知道一些事情才能成功。

第 0 步：将 .NET 4.0 的文档放在手边：

如果您查看HttpWebRequest 文档，您会发现GetResponse() 有两个名称相似的方法：BeginGetResponse() 和EndGetResponse()。这些方法使用最古老的 .NET 异步模式，称为“IAsyncResult 模式”。关于此模式的文本有数千页，如果您想了解详细信息，可以阅读教程。这是速成课程：

对于方法Foo()，有一个BeginFoo() 可以接受参数并且必须返回一个IAsyncResult 实现。此方法执行Foo() 执行的任务，但不会阻塞当前线程。
如果BeginFoo() 采用AsyncCallback 参数，它希望您提供一个委托，它将在完成时调用。（这是知道它已经完成的几种方法之一，但恰好是 HttpWebRequest 使用的技术。）
EndFoo() 将BeginFoo() 返回的IAsyncResult 作为参数，返回同样的东西Foo() 返回。

接下来，您应该注意一个陷阱。控件有一个称为“线程亲和性”的属性，这意味着只有在创建控件的线程上工作时才能与控件交互。这很重要，因为您提供给BeginFoo() 的回调方法不能保证从该线程调用。其实这很容易处理：

每个控件都有一个InvokeRequired 属性，这是从错误线程调用的唯一安全属性。如果它返回true，你就知道你在一个不安全的线程上。
每个控件都有一个Invoke() 方法，该方法接受一个委托参数，并将在创建该控件的线程上调用该委托。

说完所有这些，让我们开始看看我在一个简单的 WinForms 应用程序中编写的一些代码，用于报告下载 Google 主页的进度。这应该类似于将解决您的问题的代码。它不是最好的代码，但它演示了这些概念。该表单有一个名为progressBar1 的进度条，我通过单击按钮调用了GetWebContent()。

HttpWebRequest _request;
IAsyncResult _responseAsyncResult;

private void GetWebContent() {
    _request = WebRequest.Create("http://www.google.com") as HttpWebRequest;
    _responseAsyncResult = _request.BeginGetResponse(ResponseCallback, null);           
}

此代码启动 GetResponse() 的异步版本。我们需要将请求和IAsyncResult 存储在字段中，因为ResponseCallback() 需要调用EndGetResponse()。 GetWebContent() 中的所有内容都在 UI 线程上，所以如果你想更新一些控件，在这里这样做是安全的。接下来ResponseCallback()：

private void ResponseCallback(object state) {
    var response = _request.EndGetResponse(_responseAsyncResult) as HttpWebResponse;
    long contentLength = response.ContentLength;
    if (contentLength == -1) {
        // You'll have to figure this one out.
    }
    Stream responseStream = response.GetResponseStream();
    GetContentWithProgressReporting(responseStream, contentLength);
    response.Close();
}

AsyncCallback 委托签名强制采用object 参数，但我没有使用它。它使用我们之前得到的IAsyncResult 调用EndGetResponse()，现在我们可以继续进行，就好像我们没有使用异步调用一样。但是由于这是一个异步回调，它可能在工作线程上执行，所以这里不要直接更新任何控件。

无论如何，它会从响应中获取内容长度，如果您想计算下载进度，则需要该长度。有时提供此信息的标头不存在，您得到-1。这意味着您需要自己进行进度计算，并且您必须找到其他方法来了解您正在下载的文件的总大小。在我的情况下，将变量设置为某个值就足够了，因为我不关心数据本身。

之后，它获取表示响应的流并将其传递给一个辅助方法，该方法执行下载和进度报告：

private byte[] GetContentWithProgressReporting(Stream responseStream, long contentLength) {
    UpdateProgressBar(0);

    // Allocate space for the content
    var data = new byte[contentLength];
    int currentIndex = 0;
    int bytesReceived = 0;
    var buffer = new byte[256];
    do {
        bytesReceived = responseStream.Read(buffer, 0, 256);
        Array.Copy(buffer, 0, data, currentIndex, bytesReceived);
        currentIndex += bytesReceived;

        // Report percentage
        double percentage = (double)currentIndex / contentLength;
        UpdateProgressBar((int)(percentage * 100));
    } while (currentIndex < contentLength);

    UpdateProgressBar(100);
    return data;
}

这个方法可能仍然在工作线程上（因为它被回调调用）所以从这里更新控件仍然不安全。

该代码对于下载文件的示例很常见。它分配一些内存来存储文件。它分配一个缓冲区以从流中获取文件块。在一个循环中，它抓取一个块，将该块放入更大的数组中，并计算进度百分比。当它下载了预期的字节数时，它就会退出。这有点麻烦，但如果你要使用让你一次下载文件的技巧，你将无法在中间报告下载进度。

（我觉得有必要指出一件事：如果你的块太小，你会很快更新进度条，这仍然会导致表单锁定。我通常保留 @987654354 @ running 并尽量不要每秒更新超过两次进度条，但还有其他方法可以限制更新。）

不管怎样，只剩下实际更新进度条的代码了，而且它在它自己的方法中是有原因的：

private void UpdateProgressBar(int percentage) {
    // If on a worker thread, marshal the call to the UI thread
    if (progressBar1.InvokeRequired) {
        progressBar1.Invoke(new Action<int>(UpdateProgressBar), percentage);
    } else {
        progressBar1.Value = percentage;
    }
}

如果InvokeRequired 返回true，它会通过Invoke() 调用自己。如果它恰好在正确的线程上，它会更新进度条。如果您碰巧使用 WPF，也有类似的方式来封送调用，但我相信它们是通过 Dispatcher 对象发生的。

我知道这很多。这就是为什么新的async 东西如此出色的部分原因。 IAsyncResult 模式很强大，但不会抽象出许多细节。但即使在较新的模式中，您也必须跟踪何时可以安全更新进度条。

需要考虑的事项：

这是示例代码。为简洁起见，我没有包含任何异常处理。
如果 GetResponse() 会引发异常，则在您调用 EndGetResponse() 时会引发异常。
如果回调中发生异常并且您尚未处理它，它将终止其线程，但不会终止您的应用程序。对于新手异步程序员来说，这可能是奇怪而神秘的。
注意我说的内容长度！你可能认为你可以通过检查Length 属性来询问Stream，但我发现这不可靠。 Stream 可以随意抛出 NotSupportedException 或在不确定的情况下返回 -1 之类的值，并且通常使用网络流，如果您没有事先被告知需要多少数据，那么您只能继续问，“是还有更多吗？”
我没有说任何关于上传的内容，因为：
- 我对上传不太熟悉。
- 您可以遵循类似的模式：您可能会使用HttpWebRequest.BeginGetRequestStream()，这样您就可以异步写入正在上传的文件。所有有关更新控件的警告均适用。

【讨论】：

感谢您的深入回答。我个人认为这有点离题，因为我的问题都是关于上传和下载，而不是关于async 机制。然而，我学到了一两件事，我很感激。我已经找到了一种衡量自己上传进度的方法，但我将等待其他人领取赏金，我的意思是，赏金仍然可供衡量上传和下载进度的人使用。感谢您的帖子。
优秀的答案。我只是从 MS 文档中为 BeginGetResponse 添加了这个 “BeginGetResponse 方法需要在此方法变为异步之前完成一些同步设置任务（例如 DNS 解析、代理检测和 TCP 套接字连接）。作为因此，永远不应在用户界面 (UI) 线程上调用此方法，因为在引发错误异常或该方法之前完成初始同步设置任务可能需要相当长的时间（取决于网络设置长达几分钟）成功。”

【解决方案2】：

只要您在调用 GetRequestStream 之前设置了 HttpWebRequest.ContentLength 或 HttpWebRequest.SendChunked，您发送的数据将在每次调用 Stream.[Begin]Write 时发送到服务器。如果您建议以小块的形式编写文件，您可以了解您的进度。这是一个下载解决方案。

【讨论】：

【解决方案3】：

从 responseStream.Read(buffer, 0, 256) 中获取值的 bytesReceived 变量；返回每个接收到的单个数据包的大小，而不是总数，因此 (do...while) 几乎总是返回 true 导致无限循环，除非下载的内容太小以至于与 TCP 填充结合的数据包结束大于或等于 contentLength。

唯一需要的解决方法是让另一个局部变量充当累加器来跟踪总进度，例如totalBytesReceived += bytesReceived;并改用 while(totalBytesReceived

这就是我最终使用的：

    private byte[] GetContentWithProgressReporting(Stream responseStream, long contentLength) {
UpdateProgressBar(0);

// Allocate space for the content
var data = new byte[contentLength];
int currentIndex = 0;
int bytesReceived = 0;
int totalBytesReceived = 0;
var buffer = new byte[256];
do {
    bytesReceived = responseStream.Read(buffer, 0, 256);
    Array.Copy(buffer, 0, data, currentIndex, bytesReceived);
    currentIndex += bytesReceived;
    totalBytesReceived += bytesReceived;

    // Report percentage
    double percentage = (double)currentIndex / contentLength;
    UpdateProgressBar((int)(percentage * 100));



} while (totalBytesReceived < contentLength);

//DEBUGGING:  MessageBox.Show("GetContentWithProgressReporting Method - Out of loop");
UpdateProgressBar(100);
return data;

}

除此之外，代码运行得非常好！

【讨论】：